10 вопросов на знание основ работы с JSON и Hive в Spark: открытый интерактивный тест для начинающих изучать Spark SQL

Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с такими Big Data хранилищами (форматами), как Hive и JSON в распределенном фреймворке Apache Spark, включая особенности и методы для работы с Big Data.

Тест по основам работы с Hive и JSON в Spark для новичков

Для начинающих самостоятельное обучение по Apache Spark мы предлагаем простой интерактивный тест по этому распределенному Big Data фреймворку. Проверьте себя и ответьте на 10 вопросов об основных методах обработки Big Data с помощью взаимодействия с Hive и JSON в Spark. Ответы на эти вопросы мы разбирали в статье про популярные источники в Spark SQL здесь. Подробно изучить темы, упоминаемые в тесте, вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве.

Открытый тест по работе с Hive и JSON в Spark

Выбирайте из предложенных вариантов ответов тот, который считаете верным. Правильные ответы вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1. Какой модуль позволяет Spark извлекать данные из различных Big Data хранилищ?

 UTF

 HTTP

 JAVA

 SQL

2. Какой метод отвечает в pyspark за регистрацию JSON-данных в табличном виде?

 registerTempTable()

 registerTable()

 registerSQLTable()

 registerSparkTable()

3. С какой файловой системой Hive работает напрямую?

 AEFS

 HDFS

 QIC

 FAT32

4. Какая структура будет сформирована в результате выполнения следующего кода:

rows = hive_Ctx.sql( » SELECT name, age FROM employees «)

 набор RDD

 массив

 датафрейм

 таблица

5. На какой платформе работает Hive?

 MS SQL Server

 Hadoop

 ZooKeeper

 TomCat

6. Какая структура формируется после применения метода registerDataFrameAsTable()?

 датафрейм

 массив

 набор RDD

 список

7. Какой метод в pyspark отвечает за формитрование датафрейма для последующей работы с Hive?

 registerTable

 registerDataFrame

 registerDataFrameAsTable

 registerHive

8. Данные в формате JSON считаются …

 несериализуемыми

 типизированными

 структурированными

 полуструктурированными

9. Что служит структурой формата JSON?

 список

 таблица

 пара ключ/значение

 массив

10. Какой язык используется в Hive?

 Python

 HiveQL (диалект SQL)

 JAVA

 только SQL

 Загрузка …

Стоит отметить, что данный тест не претендует на звание специализированного профессионального экзамена. Однако такое небольшое упражнение способно помочь новичкам, которые начинают самостоятельно изучать машинное обучение в распределенном фреймворке Apache Spark, пытаясь разобраться с большим объемом информации, систематизировать ее и применить к решению практических задач. Также мы подготовили для вас серию тестов по отдельным разделам Apache Spark. Например, проверить свои знания по основам ML в Spark вы можете здесь.

Освоить Apache Spark на профессиональном уровне для практического использования в своих проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Apache Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Графовые алгоритмы в Apache Spark
• Машинное обучение в Apache Spark
• Потоковая обработка в Apache Spark
• Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Разработка и внедерение ML-решений
• Графовые алгоритмы. Бизнес-приложения

Записаться на курс

Смотреть раcписание