Скачать Разработчик BigData. Часть 2 из 5 - OTUS (2018)

Тема в разделе "Администрирование и программирование", создана пользователем Gustav, 10 авг 2018.

  1. Gustav

    Gustav Команда форума Администратор

    Сообщения:
    22.166
    Симпатии:
    41.812
    Разработчик BigData. Часть 2 из 5
    OTUS

    upload_2018-8-10_0-3-38.png

    От сгенерированных данных переходим к данным в табличном виде. Такие данные встречаются в конкурсах по анализу данных, а также могут быть собраны, например, напрямую из баз данных. Для применения алгоритмов машинного обучения обычно такие данные требуют дополнительных преобразований.Во втором модуле рассматриваются задачи преобразования и отбора признаков, вопросы подготовки данных для использования в машинном обучении.Также будут рассмотрены более сложные алгоритмы в анализе данных - понижение размерности, определение выбросов в данных, построение ансамблей моделей.


    Занятие 11: Уменьшение размерности

    Principle component analysis, t-sne. Поиск подмножества фич (subset selection).
    ДЗ
    Применение снижения размерности для использования в модели.

    Занятие 12: Методы оптимизации
    SGD, модификации SGD

    Занятие 13: Деревья решений
    Ограничения и недостатки деревьев решений. Классификация и регрессия с помощью деревьев решений. Выбор оптимального сплита, суррогатный сплит.
    ДЗ
    Реализация алгоритма дерева решений на простых данных. Реализация некоторых эвристик в деревьях решений.

    Занятие 14: Ансамбли моделей
    Случайный лес. Обзор методов ансамблирования: бустинг, бэггинг, стекинг, случайные подпространства.

    Занятие 15: Бустинг
    Xgboost, catboost, lightgbm, Стекинг, блендинг
    ДЗ
    Применение бустинга для построения лучшей модели.

    Занятие 16: SVM, Support vector machine
    Разделяющая поверхность с максимальным зазором. Формулировка задачи оптимизации для случаев линейно-разделимых и линейно-неразделимых классов. Сопряженная задача. Опорные векторы. SVM для задач классификации и регрессии. Kernel trick. Теорема Мерсера. Примеры функций ядра.


    Занятие 17: Анализ текстовых данных
    Сбор данных из открытых источников. Очистка данных, подготовка данных для анализа.Задача обработки текста. Введение, обзор задач, токенизация, лемматизация. Python + sklearn для обработки текстов. Понятие мешка слов, TF.IDF и когда они могут быть нужны, feature selection для NLP.
    ДЗ
    Реализация процесса сбора данных через API. Преобразование текста, подготовка текста для анализа. Применение машинного обучения для предсказания характеристики в собранных данных

    Занятие 18: Анализ текстовых данных
    Выделение объектов в тексте (named entity recognition, named entity linking)
    Неструктурированные данные. Структурированные данные. Сбор текстов (scraping)
    Word2vec для извлечения похожих слов, sentiment analysis




    Продажник:

    Скачать:
     
    Последнее редактирование: 14 дек 2018
    skeet и wakariio нравится это.