Вопросы на знание основ работы распределенного фреймворка Spark: открытый комплексный тест для начинающих

Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам контрольный общий тест по основам работы распределенного фреймворка Apache Spark, включая его особенности, структуры, возможности и методы для работы с Big Data.

Тестирование по основам работы распределенного фреймворка Spark для новичков

Для начинающих самостоятельное обучение по Apache Spark мы предлагаем простой интерактивный тест по этому распределенному Big Data фреймворку. Проверьте себя и ответьте на 10 вопросов об особенностях обработки Big Data с помощью распределенного фреймворка Apache Spark. Подробно изучить темы, упоминаемые в тесте, вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве.

Тест по Spark

Выбирайте из предложенных вариантов ответов тот, который считаете верным. Правильные ответы вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1. Что отвечает за соединение Spark и реляционной СУБД?

 RDBMS-драйвер

 Spark-драйвер

 исполнитель Spark

 ядро Spark

2. Какой метод отвечает за соединение Spark и реляционной СУБД?

 connect()

 jdbc()

 getConnection()

 retrieveConnection()

3. Какой из параметров отвечает за формирование датафрейма со степенями вершин в графе?

 degrees

 top

 dataDegrees

 graphData

4. Какой класс отвечает за создание графовой структуры в Spark GraphX?

 Graph

 GraphFrame

 GraphXFrame

 FrameGraph

5. Какой метод отвечает за обучение модели случайного леса в Spark?

 train()

 fitModel()

 fit()

 trainModel()

6. За что отвечает метод take(n)?

 получение списка, состоящего из n элементов

 получение групп по n элементов

 удаление n элементов из набора RDD

 вывод n элементов из RDD в консоль

7. Как выполняются преобразования наборов RDD?

 по строкам

 по группам

 по паре элементов

 поэлементно

8. Какой класс используется для формирования вектора признаков в Spark?

 VectorAssemble

 Assembler

 VectorAssembler

 FeatureVector

9. Какую роль выполняют ядра (cores) в Spark-исполнителях?

 определяют количество оперативной памяти для каждой задачи, поступившей из драйвера

 определяют максимальное количество задач, которые может выполнить каждый исполнитель

 определяют приоритетность задач, поступающих из драйвера

 определяют максимальное количество задач, выполняемых параллельно

10. Какой класс отвечает за последовательность преобразований при обучении логистической ML-модели?

 PipeSequence

 SequenceLine

 PipeLine

 Sequence

 Загрузка …

Стоит отметить, что данный тест не претендует на звание специализированного профессионального экзамена. Однако такое небольшое упражнение способно помочь новичкам, которые начинают самостоятельно изучать машинное обучение в распределенном фреймворке Apache Spark, пытаясь разобраться с большим объемом информации, систематизировать ее и применить к решению практических задач.

Освоить Apache Spark на профессиональном уровне для практического использования в своих проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Графовые алгоритмы в Apache Spark
• Машинное обучение в Apache Spark
• Потоковая обработка в Apache Spark
• Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Разработка и внедерение ML-решений
• Графовые алгоритмы. Бизнес-приложения

Записаться на курс

Смотреть раcписание

Источники

1. https://spark.apache.org/documentation.html
2. К.Харау, Э.Ковински, П.Венделл, М.Захария. Изучаем Spark: молниеносный анализ данных