Практический курс «GRAS: Графовые алгоритмы в Apache Spark»

О курсе

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для решения задач графовой обработки данных.

Аудитория

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark Graphframe. На этом курсе мы изучаем предоставляемые спарк возможности графовой обработки данных, графовых алгоритмов, представления информации в графовом виде, использование парадигмы Pregel. Соотношение теории к практике 50/50 Предварительная подготовка

• Опыт работы в Unix/SQL;
• Знания в объеме, аналогичном курсу Core Spark
• Начальный опыт программирования (Python/Java);
• Начальный опыт в экосистеме Hadoop

Программа курса

1. Введение в графовую модель

• Понятие графа, его реализация
• Графовые алгоритмы и задачи.

2. Графовая обработка в Apache Spark

• Текущий статус поддержки графовых вычислений в Spark
• Основная абстракция Graphframe и работа с ней
• Представление графа в Spark Graphframe
• Основные атрибуты и методы.

3. Графовые алгоритмы в Apache Spark

• Реализованные графовые алгоритмы
• Применение для решения практических задач

4. Pregel и его применение

• Парадигма Pregel и ее история
• Реализация в Spark
• Применение для решения практических задач