10 вопросов на знание основ конфигурации Spark-приложений: открытый интерактивный тест для начинающих

hadoop spark, анализ с использование spark, bigdata курсы,аналитика больших данных курсы, курсы spark, основы spark, основы hadoop, обучение администраторов spark

Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам конфигурации Spark-приложений, включая факторы, влияющие на их производительность.

Тест по основам конфигурации Spark-приложений

Для начинающих самостоятельное обучение по Apache Spark мы предлагаем простой интерактивный тест по этому Big Data фреймворку. Проверьте себя и ответьте на 10 вопросов об основных принципах и факторах, влияющих на производительность приложений, написанных на базе фреймворка Apache Spark. Ответы на эти вопросы мы разбирали в статье про настройку конфигурации распределенных приложений на базе Spark здесь. Подробно изучить темы, упоминаемые в тесте, вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве.

Выбирайте из предложенных вариантов ответов тот, который считаете верным. Правильные ответы вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1. За что отвечает следующий код:

conf  =  pyspark.SparkConf().setAppName(‘appName’).setMaster(‘local’)
sc  =  pyspark.SparkContext(conf=conf)
spark  =  SparkSession(sc)

 
 
 
 

2. С помощью какого сценария Spark может задавать конфигурацию приложения?

 
 
 
 

3. Что происходит в кластере при недостаточной степени параллелизма?

 
 
 
 

4. Что происходит при линейном масштабировании?

 
 
 
 

5. Что из перечисленного ведет к гарантированному освобождению памяти?

 
 
 
 

6.
Какой класс является точкой входа при настройке конфигурации spark-приложений?

 
 
 
 

7.
Какой класс отвечает за создание Spark-сессии на рабочих узлах в кластере?

 
 
 
 

8. За что отвечает следующий код:
my_rdd = sc.textFile(‘my_rdd_file.csv’)
my_rdd = my_rdd.coalesce(5)

 
 
 
 

9. Какой метод отвечает за добавление информации о конфигурации при базовой настройке приложения (с нуля)?

 
 
 
 

10.
Что такое степень параллелизма?

 
 
 
 

 
 
Ваши баллы: Среднее кол-во баллов: 0

Стоит отметить, что данный тест не претендует на звание специализированного профессионального экзамена. Однако такое небольшое упражнение способно помочь новичкам, которые самостоятельно изучают распределенный фреймворк Spark для работы с Big Data, пытаясь разобраться с большим объемом информации, систематизировать ее и применить к решению практических задач. Также мы подготовили для вас серию тестов по отдельным разделам Apache Spark. Например, проверить свои знания по архитектуре Spark-приложений вы можете здесь.

Освоить Apache Spark на профессиональном уровне для практического использования в своих проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

Записаться на курс

Смотреть раcписание

Добавить комментарий

Поиск по сайту