Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с внешними источниками в распределенном фреймворке Apache Spark,...
Зачем вам функции repartition и coalesce
Мы уже говорили о создании партиций (partitions) на диске с помощью partitionBy. В Apache Spark есть еще функции для работы с партициями. Сегодня рассмотрим разницу...
6 способов повышения производительности в Apache Spark
Apache Spark применяется для работы с большими данными (Big Data), поэтому встает вопрос: как увеличить скорости обработки этих данных. В этой статье мы рассмотрим 5...
Как разбить датасет на партиции с помощью partitionby
Чтение больших данных (Big Data) занимает время. Одним из способов работы с большими объемам является разбиение большого датасет на части, или партиции. Сегодня мы поговорим...
10 вопросов на знание основ работы с JSON и Hive в Spark: открытый интерактивный тест для начинающих изучать Spark SQL
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с такими Big Data хранилищами (форматами), как Hive...
10 вопросов на знание основ работы с ML в Spark MLlib: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой комплексный тест по основам работы с машинным обучением в распределенном фреймворке Apache...
Фильтрация данных в Apache Spark: лучшие практики
В прошлой статье мы говорили о вычислении SQL-выражений в Apache Spark, а также немного затронули тему фильтрации данных. В этот раз углубимся в эту тему,...
10 вопросов на знание основ GBT-алгоритма в Spark: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с алгоритмом градиентного бустинга (GBT) в распределенном фреймворке...
Что такое GBT-алгоритм в Apache Spark
В прошлый раз мы говорили про особенности работы алгоритма многослойного персептрона в Spark. Сегодня поговорим про алгоритм градиентного бустинга (GBT) в распределенном Big Data фреймворке...
10 вопросов на знание основ алгоритма многослойного персептрона в Spark: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с алгоритмом многослойного персептрона в распределенном фреймворке Apache...