В прошлый раз мы говорили про файловые системы, с которыми работает фреймворк Apache Spark. Сегодня рассмотрим, как Spark SQL работает с данными в JSON и...
Какие файловые системы поддерживает Spark
В прошлый раз мы говорили о том, как между собой взаимодействуют Spark и Pandas. Сегодня поговорим о том, как Apache Spark работает с HDFS и...
Как Spark и Pandas взаимодействуют между собой
В прошлый раз мы говорили про главные функции для анализа датафреймов в Spark. В этой статье мы поговорим о том, как осуществляется взаимодействие Apache Spark...
Анализ больших данных в Apache Spark: 3 главных функции для работы с датафреймами
Мы уже рассматривали базовые функции для работы с датафреймами в Apache Spark. Сегодня поговорим о том, какие функции используются при детальном анализе данных в датафреймах...
Какие функции в основном используются для работы с датафреймами в Spark
В прошлый раз мы говорили о том, как Spark работает с файлами. Сегодня поговорим о том, какие функции являются базовыми при работе с датафреймами (dataframe)...
Какие форматы файлов поддерживает Spark
Сегодня поговорим о том, какие наиболее распространенные форматы файлов способен поддерживать фреймворк Apache Spark. Также рассмотрим, как эффективно сохранять данные в этих форматах. Читайте далее,...
Как настроить Spark-приложение и повысить его производительность
Сегодня поговорим о том, как происходит настройка Spark-приложений. Также рассмотрим ключевые факторы, влияющие на производительность приложений, использующих этот фреймворк. От чего зависит производительность Spark-приложений: 2...
Как развертываются Spark-приложения
В этой статье мы поговорим о том, как можно развернуть приложения, которые используют архитектуру фреймворка Spark. Также рассмотрим сценарий spark-submit и разберем, как с помощью...
Как работают Spark-приложения в кластере
В этой статье мы поговорим о том, как выполняются приложения, которые создавались на базе фреймворка Apache Spark. Читайте далее про архитектуру среды выполнения Spark, а...
Что такое MLlib и для чего он нужен
В этой статье мы поговорим про компонент MLlib, который входит в популярный Big Data фреймворк Apache Spark. Читайте далее про архитектуру и типы данных этого...