Агрегация, SQL и оконные функции в Apache Spark

Агрегация, SQL и оконные функции в Apache Spark
2 дня (16 часов) ₽28.000
Ближайшая дата курса
Стоимость обучения 38.000 руб. Регистрация
Код курса AGRS

Практический курс «AGRS: Агрегация, SQL и оконные функции в Apache Spark»

Длительность: 16 ак. часов

О курсе

2-дневный специализированный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют Spark для обработки и анализа больших данных.

Аудитория

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят улучшить и систематизировать свои знания в части агрегации данных и SQL. Во время обучения на курсе мы углубимся в проблематику агрегации данных и ее реализацию в спарк, изучим механизм оконных функций и практические аспекты его применения. Этот курс для тех, кому нужно не просто трансформировать данные, а реализовывать эффективную сложную обработку данных (с использованием порядка следования данных, значениями частичных агрегатов и т.п.).

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Знания в объеме, аналогичном курсу Core Spark
  • Начальный опыт программирования (Python/Java);
  • Начальный опыт в экосистеме Hadoop

Программа курса

1. Табличные данные и агрегация

  • Реляционная таблица и задача агрегации
  • Технические особенности агрегации при параллельной обработке
  • Подход Map Reduce и Apache Spark

2. Реализация агрегации в Structured Api

  • Dataframe и его «группированный» аналог
  • Агрегирующие функции в Spark SQL.

3. Оконные функции в SQL

  • Понятие оконной функции
  • Применимость и типовые задачи

4. Оконные функции в Apache Spark

  • Реализация механизма оконных функций в Apache Spark
  • Основные возможности

5. Многостраничный SQL и Spark Structured API

  • Проблематика сложных SQL запросов
  • Lazy evaluation и возможности Spark

6. Примеры сложных трансформаций

  • Использование оконных функций и Structured API для разработки сложных преобразований данных

 

 

Программа курса «Агрегация, SQL и оконные функции в Apache Spark»

Скачать программу курса «Агрегация, SQL и оконные функции в Apache Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Поиск по сайту