Практический курс «Основы Apache Spark для разработчиков и аналитиков Big Data»

Ближайшая дата курса | 27 ноября 2023 01 февраля 2024 |
|
Стоимость обучения | 44 000 руб. | Регистрация |
Длительность обучения | 16 ак.часов | |
Код курса | CORS |
О курсе
2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных.Аудитория
Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования базовых компонентов Apache Spark: Low Level API, Structured API и Spark SQL. Соотношение теории к практике 50/50 Предварительная подготовка- Опыт работы в Unix/SQL;
- Начальный опыт программирования (Python/Java);
- Начальный опыт в экосистеме Hadoop
Программа курса
1. Обзор Apache Spark- Архитектура Spark
- Обзор компонентов Spark и их назначения
- Spark API и разработка программ.
- Low Level API, использование Resilient Distributed Dataset
- Structured API и основная абстракция Spark – Dataframe
- Основные трансформации и действия.
- Ввод и вывод данных в Spark
- Работа с файлами и базами данных
- Совместная работа с Apache Hive
- Получение данных из SQL-источников
- Обработка данных с помощью Spark SQL
- Интероперабельность Dataframe и SQL
- Знакомство с основными Shell
- Запуск приложений с помощью spark-submit
- Конфигурирование Spark
- Планы запросов и Web GUI