Apache Spark – мощный фреймворк для обработки больших объемов данных, который предоставляет высокоуровневые API на языке программирования Scala, Java, Python и R. Одним из ключевых аспектов работы с данными в Spark является эффективная передача данных между узлами кластера. Для этого используется процесс сериализации, который позволяет преобразовывать данные в байтовый формат для передачи по сети.
Сериализация – это процесс преобразования структурированных данных в формат, который может быть легко передан или сохранен. В контексте Apache Spark, сериализация используется для передачи данных между узлами кластера.
Механизм сериализации также используется в распределенных приложениях при передачи данных по сети (или в пределах вычислительного кластера). Например, при совместной обработке наборов RDD (Resilient Distributed Dataset) узлы в кластере обмениваются данными между собой для предоставления друг другу информации о последних внесенных изменениях [1].
Особенности работы сериализации в Spark: несколько практических примеров
Настройки для сериализации данных в приложении Spark определяются в процессе настройки основной конфигурации среды выполнения при запуске сессии Spark. Следующий код на языке Python задает базовую конфигурацию Spark-приложения и запускает Spark-сессию [2]:
from pyspark.sql import SparkSession
# В качестве примера используется порт по умолчанию (local)
conf = pyspark.SparkConf().setAppName('appName').setMaster('local')
# Развертывапние среды с указанными настройками
sc = pyspark.SparkContext(conf=conf)
# Запуск Spark-сессии
spark = SparkSession(sc)
В представленном коде отсутствуют настройки параметров сериализации данных. В таком случае Spark будет использовать параметры по умолчанию, включая базовый сериализатор (pickle serializator по умолчанию). Этот сериализатор эффективен при передаче небольших объемов данных (до 100 Мб). Однако при передаче больших объемов данных может произойти существенное замедление, влияющее на производительность приложения. Чтобы избежать этого, рекомендуется использовать специальный маршал-сериализатор (Marshal Serializer), который применяет механизм маршалинга. Маршалинг представляет собой процесс преобразования данных для передачи по сети, обходящий сетевые ограничители (такие как сетевые экраны или балансировщики нагрузки) без потери информации. Этот процесс включает в себя деление данных на части (пакеты) и их сжатие для уменьшения размера. Следующий код на языке Python отвечает за установку маршал-сериализатора в качестве основного сериализатора данных приложения [2]:
from pyspark.serializers import MarshalSerializer
sc = SparkContext('local', 'test', serializer=MarshalSerializer())
Помимо стандартной сериализации в Spark есть еще Avro-сериализация, основанная на JSON. Он предоставляет компактный формат данных и хорошо подходит для работы с сложными структурами данных [3]:
from pyspark import SparkContext
from pyspark.serializers import AvroSerializer
sc = SparkContext("local", "serializationExample", serializer=AvroSerializer())
data = [{"name": "Ivan", "age": 37}, {"name": "Alexey", "age": 25}]
rdd = sc.parallelize(data)
# Использование Avro Serialization
serialized_rdd = rdd.map(lambda x: x).collect()
Таким образом, благодаря поддержке механизма сериализации данных, Spark-приложения могут обмениваться данными в распределенной среде без потерь скорости передачи, а также отдельных частей данных при передаче через сеть, что весьма повышает надежность и скорость этих приложений. Все это делает фреймворк Apache Spark весьма полезным средством для Data Scientist’а и разработчика распределенных Big Data приложений. Больше подробностей про применение Apache Spark в проектах анализа больших данных, разработки Big Data приложений и прочих прикладных областях Data Science вы узнаете на практических курсах по Spark в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:
- Графовые алгоритмы в Apache Spark
- Машинное обучение в Apache Spark
- Потоковая обработка в Apache Spark
- Основы Apache Spark для разработчиков
- Анализ данных с Apache Spark
- Разработка и внедерение ML-решений
- Графовые алгоритмы. Бизнес-приложения
Источники
- https://javarush.ru/groups/posts/2022-serializacija-i-deserializacija-v-java
- https://spark.apache.org/docs/0.9.0/api/pyspark/pyspark.serializers-module.html
- К.Харау, Э.Ковински, П.Венделл, М.Захария. Изучаем Spark: молниеносный анализ данных