Потоковая обработка в Apache Spark

Практический курс «Потоковая обработка в Apache Spark»

Потоковая обработка в Apache Spark
Ближайшая дата курса
09 ноября 2021
21 февраля 2022
Стоимость обучения 36.000 руб.Регистрация
Код курса SPOT

Длительность: 16 ак. часов

О курсе

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных

Аудитория

Практический курс по потоковой обработке с использованием Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования механизмов потоковой обработки в спарк, с видами источников и нюансами практического использования Structured Streaming.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Java);
  • Знания в объеме, аналогичном курсу Core Spark
  • Начальный опыт в экосистеме Hadoop
  • Базовые знания Kafka

Программа курса

1. Введение в потоковую обработку

  • Потоковая и пакетная обработка данных
  • Особенности потоковой обработки
  • Надежность и потоковая обработка.

2. Потоковая обработка в Apache Spark

  • Два вида потоков (на основе RDD и Dataframe)
  • Парадигма потоковой обработки в Structured Streaming
  • Источники (sources и sink).

3. Совместное использование Batch и Streaming

  • Трансформации и действия в Apache Spark
  • Объединение данных в Spark (join)
  • Особенности использования трансформаций при работе с потоковыми данными

4. Источники потоковых данных

  • Файловый источник данных
  • Apache Kafka как источник данных
  • Другие источники потоковых данных

5. Обеспечение надежности потоковой обработки в Apache Spark

  • Механизм checkpoint в Apache Spark
  • Настройка streaming checkpoint

 

 

Программа курса «Потоковая обработка в Apache Spark»

Скачать программу курса «Потоковая обработка в Apache Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Поиск по сайту