Иногда приходится работать с несколькими связанными таблицами сразу, причем требуется их каким-то образом соединять. В этом случае вам поможет операция JOIN в PySpark. Сегодня расскажем...
10 вопросов на знание основ Spark с внешними источниками: открытый интерактивный тест для начинающих изучать Spark SQL
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с внешними источниками в распределенном фреймворке Apache Spark,...
Ускоритель RAPIDS 22.02 и 21.10 для Apache Spark
В прошлой статье мы говорили об ускорителе RAPIDS для Apache Spark. Сегодня рассмотрим, что появилось в версии RAPIDS 21.10 (релиз за январь) и 22.02 (релиз...
Вы этого ждали: Apache Spark 3.0 работает с GPU
NVIDIA работает вместе с разработчиками библиотек Apache Spark и RAPIDS для реализации ускорения GPU. Наконец-то в Apache Spark можно проводить обработку данных на GPU. В...
10 вопросов на знание основ работы с JSON и Hive в Spark: открытый интерактивный тест для начинающих изучать Spark SQL
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с такими Big Data хранилищами (форматами), как Hive...
10 вопросов на знание основ работы с ML в Spark MLlib: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой комплексный тест по основам работы с машинным обучением в распределенном фреймворке Apache...
Как переименовать столбцы в Apache Spark
Встречались ли с ситуациями, когда имя столбца в PySpark неправильно написано или содержит пробелы, а вы хотели бы его переименовать? Тогда эта статья для вас....
10 вопросов на знание основ GBT-алгоритма в Spark: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с алгоритмом градиентного бустинга (GBT) в распределенном фреймворке...
Что такое GBT-алгоритм в Apache Spark
В прошлый раз мы говорили про особенности работы алгоритма многослойного персептрона в Spark. Сегодня поговорим про алгоритм градиентного бустинга (GBT) в распределенном Big Data фреймворке...
10 вопросов на знание основ алгоритма многослойного персептрона в Spark: открытый интерактивный тест для начинающих изучать машинное обучение
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с алгоритмом многослойного персептрона в распределенном фреймворке Apache...