Практический Apache Spark

Практический Apache Spark
2 дня (16 часов) ₽28.000
Ближайшая дата курса
Стоимость обучения 36.000 руб. Регистрация
Код курса PRAS

Практический курс «PRAS: Практический Apache Spark»

Длительность: 16 ак. часов

О курсе

2-дневный специализированный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных.

Аудитория

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт практического использования Apache Spark в интерактивной работе (в среде Jupyter Notebook или Apache Zeppelin). Также на курсе мы разберем нюансы запуска python-приложений с помощью spark-submit и  выстраивания эффективных конвейеров обработки данных на спарк с помощью Apache Airflow и Livy.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Знания в объеме, аналогичном курсу Core Spark
  • Начальный опыт программирования на Python;
  • Начальный опыт в экосистеме Hadoop

Программа курса

1. Профессия инженера Больших Данных

  • Иерархия потребностей в Data Science
  • Как работает инженер больших данных.

2. Программирование с Apache Spark

  • Виды приложений — интерактивные и пакетные
  • Конвейеры обработки данных
  • Основная абстракция dataframe и ее жизненный цикл
  • Lazy Evaluation и кэширование.

3. Интерактивное использование Apache Spark

  • IPython и Scala REPL
  • Jupyter Notebook и особенность использования с Apache Spark
  • Apache Zeppelin и Spark

4. Запуск пакетных приложений

  • Режимы запуска (deployment modes) в Spark
  • Spark-submit и особенности практического использования с python

5. Эффективное построение конвейеров обработки данных с Apache Spark

  • Введение в Apache Airflow
  • Параллелизм работы конвейеров и Apache Spark
  • Введение в Apache Livy
  • Дополнительные преимущества от использования Apache Livy

 

 

Программа курса «Практический Apache Spark»

Скачать программу курса «Практический Apache Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Поиск по сайту