10 вопросов на знание основ работы распределенности в Spark: открытый общий комплексный тест для начинающих

Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам общий тест по основам работы распределенности в Apache Spark, включая ее особенности, структуру, возможности и методы для работы с Big Data.

Общий тест по основам работы распределенной среды фреймворка Spark для новичков

Для начинающих самостоятельное обучение по Apache Spark мы предлагаем простой интерактивный тест по этому распределенному Big Data фреймворку. Проверьте себя и ответьте на 10 вопросов об особенностях обработки Big Data с помощью распределенности фреймворка Apache Spark. Подробно изучить темы, упоминаемые в тесте, вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве.

Тест по Spark-распределенности

Выбирайте из предложенных вариантов ответов тот, который считаете верным. Правильные ответы вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1. Что происходит при линейном масштабировании?

 увеличивается количество памяти в кластере

 увеличивается количество свободных ресурсов в кластере

 увеличение количества ресурсов ведет к увеличению производительности приложения

 увеличение количества ресурсов ведет к уменьшению производительности приложения

2. Какой класс является точкой входа при настройке конфигурации spark-приложений?

 SparkContext

 SparkSession

 SparkConf

 SparkConfig

3. Что из перечисленного ведет к гарантированному освобождению памяти?

 увеличение ядер для каждого из исполнителей

 сборка мусора

 увеличение степени параллелизма

 уменьшение степени параллелизма

4. Что считается наименьшей единицей выполнения Spark-приложения?

 задача

 этап

 точка выполнения

 сессия

5. Что делает исполнитель в момент запуска приложения?

 создает контейнер для очередей

 регистрируется в драйвере

 запускает первичную задачу

 создает контейнер для задач

6. Как исполнители обеспечивают хранение данных?

 в распределенных датафреймах

 в специальных контейнерах

 в наборах RDD

 в кэшированных таблицах

7. Что из предложенного могут делать диспетчеры кластеров?

 закрывать текущую spark-сессию

 создавать точки остановки приложения

 задавать конфигурацию приложения

 определять очереди для задач

8. С помощью какого сценария Spark может задавать конфигурацию приложения?

 spark-apply

 spark-submit

 spark-set

 spark-config

9. За что отвечает следующий код:

conf = pyspark.SparkConf().setAppName(‘appName’).setMaster(‘local’)

sc = pyspark.SparkContext(conf=conf)

spark = SparkSession(sc)

 динамическое изменение конфигурации приложения

 настройка базовой конфигурации приложения

 настройка конфигурации кластера Spark

 закрытие spark-сессии

10. Какой компонент отвечает за разбиение приложения на задачи?

 контроллер

 драйвер

 исполнитель

 диспетчер кластера

 Загрузка …

Стоит отметить, что данный тест не претендует на звание специализированного профессионального экзамена. Однако такое небольшое упражнение способно помочь новичкам, которые начинают самостоятельно изучать машинное обучение в распределенном фреймворке Apache Spark, пытаясь разобраться с большим объемом информации, систематизировать ее и применить к решению практических задач.

Освоить Apache Spark на профессиональном уровне для практического использования в своих проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Графовые алгоритмы в Apache Spark
• Машинное обучение в Apache Spark
• Потоковая обработка в Apache Spark
• Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Разработка и внедерение ML-решений
• Графовые алгоритмы. Бизнес-приложения

Записаться на курс

Смотреть раcписание