10 вопросов на знание основ работы распределенности в Spark: открытый общий комплексный тест для начинающих

Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам общий тест по основам работы распределенности в Apache Spark, включая ее особенности, структуру, возможности и методы для работы с Big Data.

Общий тест по основам работы распределенной среды фреймворка Spark для новичков

Для начинающих самостоятельное обучение по Apache Spark мы предлагаем простой интерактивный тест по этому распределенному Big Data фреймворку. Проверьте себя и ответьте на 10 вопросов об особенностях обработки Big Data с помощью распределенности фреймворка Apache Spark. Подробно изучить темы, упоминаемые в тесте, вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве.

Тест по Spark-распределенности

Выбирайте из предложенных вариантов ответов тот, который считаете верным. Правильные ответы вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1. Что из перечисленного ведет к гарантированному освобождению памяти?

 уменьшение степени параллелизма

 увеличение ядер для каждого из исполнителей

 увеличение степени параллелизма

 сборка мусора

2. Что из предложенного могут делать диспетчеры кластеров?

 создавать точки остановки приложения

 закрывать текущую spark-сессию

 задавать конфигурацию приложения

 определять очереди для задач

3. За что отвечает следующий код:

conf = pyspark.SparkConf().setAppName(‘appName’).setMaster(‘local’)

sc = pyspark.SparkContext(conf=conf)

spark = SparkSession(sc)

 закрытие spark-сессии

 динамическое изменение конфигурации приложения

 настройка базовой конфигурации приложения

 настройка конфигурации кластера Spark

4. Какой класс является точкой входа при настройке конфигурации spark-приложений?

 SparkConf

 SparkConfig

 SparkSession

 SparkContext

5. Что считается наименьшей единицей выполнения Spark-приложения?

 задача

 точка выполнения

 сессия

 этап

6. Что делает исполнитель в момент запуска приложения?

 создает контейнер для задач

 регистрируется в драйвере

 запускает первичную задачу

 создает контейнер для очередей

7. Как исполнители обеспечивают хранение данных?

 в наборах RDD

 в специальных контейнерах

 в кэшированных таблицах

 в распределенных датафреймах

8. Что происходит при линейном масштабировании?

 увеличивается количество свободных ресурсов в кластере

 увеличение количества ресурсов ведет к увеличению производительности приложения

 увеличивается количество памяти в кластере

 увеличение количества ресурсов ведет к уменьшению производительности приложения

9. Какой компонент отвечает за разбиение приложения на задачи?

 драйвер

 диспетчер кластера

 исполнитель

 контроллер

10. С помощью какого сценария Spark может задавать конфигурацию приложения?

 spark-set

 spark-config

 spark-apply

 spark-submit

 Загрузка …

Стоит отметить, что данный тест не претендует на звание специализированного профессионального экзамена. Однако такое небольшое упражнение способно помочь новичкам, которые начинают самостоятельно изучать машинное обучение в распределенном фреймворке Apache Spark, пытаясь разобраться с большим объемом информации, систематизировать ее и применить к решению практических задач.

Освоить Apache Spark на профессиональном уровне для практического использования в своих проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Графовые алгоритмы в Apache Spark
• Машинное обучение в Apache Spark
• Потоковая обработка в Apache Spark
• Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Разработка и внедерение ML-решений
• Графовые алгоритмы. Бизнес-приложения

Записаться на курс

Смотреть раcписание