Практический курс «Машинное обучение в Apache Spark»
2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для решения задач машинного обучения и подготовки для него данных.
| Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
|---|---|---|---|---|
| MLSP | по запросу |
0 руб. | ак.часов | Дистанционный |
Аудитория
Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark MLLib. На этом курсе мы изучаем предоставляемые спарк возможности в части подготовки данных (векторы в том числе разреженные, работа с пропущенными данными, нормализация, категориальные данные и т.п.) и машинного обучения (стандартные алгоритмы — регрессии, классификации, нейронные сети и т.п. — и конвейерная обработка). Курс будет интересен не только дата сайентистам, но и инженерам данных — на курсе мы покажем, что делают дата сайентисты (на примере Apache Spark).
Соотношение теории к практике 50/50
Предварительная подготовка
- Опыт работы в Unix/SQL;
- Знания в объеме, аналогичном курсу Core Spark
- Начальный опыт программирования (Python/Java);
- Начальный опыт в экосистеме Hadoop
Программа курса
- Профессии дата инженера и дата сайентиста
- Цикл работ согласно CRISP-DM
- Классификация алгоритмов машинного обучения
- Пример алгоритма
- Особенности подготовки данных для машинного обучения
- Датасет и денормализация
- Стандартный набор операций по подготовке данных
- Дополнительные требования некоторых алгоритмов
- Векторы и разреженные векторы
- Алгоритмы обучения с учителем
- Нейронные сети и другие алгоритмы
- Подходы к продуктивному использованию настроенных алгоритмов
- Базовый процесс обучения с использованием Spark MLLIB
- Понятие конвейера и его настройка в Spark MLLIB
- Стандартные операции очистки данных
- Работа с категориальными данными
- Векторизация текста
- Другие возможности модуля Feature
Кто проводит курс
Королев Михаил
МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:
- Сертифицированный разработчик Spark и Hadoop (CCA Cloudera)
- Сертифицированный разработчик (Cloudera Certified Professional Data Engineer)
- Построение корпоративных хранилищ и озер данных (Cloudera CDH, Hadoop)
- Организация ETL-конвейеров (ApacheAirflow, Spark, Apache Livy)
- Поддержка инфраструктуры больших данных (Apache Hive,HBase, Kafka,Elasticsearch)
- Руководитель проектов с корпоративными данными
- Ведущий Data Engineer АО “Альфастрахование”, Москва
