State Data Source в Spark 4 позволяет прочитать состояние стримингового запроса обычным батчевым чтением. Это решает типичную задачу отладки, когда счётчики Structured Streaming выглядят странно,...
Подзапросы в PySpark 4 без SQL-строк через scalar, exists и lateralJoin
Подзапросы в PySpark через DataFrame API (PySpark subqueries DataFrame API) долго оставались слабым местом. Как только нужен коррелированный подзапрос (correlated subquery), приходилось регистрировать временные представления...
Spark или DuckDB на одной машине. Воспроизводимый бенчмарк join и агрегации
Spark vs DuckDB single node benchmark выглядит простым сравнением, пока не начинаешь разбирать, что именно измерили. Недавно на Medium вышел разбор от Intellytics Solutions, где...
PySpark без JVM что проверено и где проходит граница тонкого клиента pyspark-client в Spark 4
Если нужно дать сервису или CI-джобе доступ к Spark, а ставить на каждый узел Java и полный дистрибутив не хочется, пригодится pyspark-client Spark Connect thin...
Основы журналирования в Pyspark
Apache Spark предоставляет мощные инструменты для обработки больших объемов данных. При разработке приложений на Apache Spark логирование играет важную роль для отслеживания процесса выполнения задач...
Что такое Spark-драйвер и как его настроить
Apache Spark является мощным фреймворком для обработки больших объемов данных параллельно на кластерах. Он предоставляет высокоуровневые API на Java, Scala, Python и R, что делает...
Что такое сериализация в Apache Spark
Apache Spark – мощный фреймворк для обработки больших объемов данных, который предоставляет высокоуровневые API на языке программирования Scala, Java, Python и R. Одним из ключевых...
Вопросы на знание основ работы распределенного фреймворка Spark: открытый комплексный тест для начинающих
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам контрольный общий тест по основам работы распределенного фреймворка Apache Spark, включая его особенности,...
Что такое Spark GraphX
Apache Spark предоставляет мощный набор инструментов для обработки больших объемов данных, и Spark GraphX - это его компонент, специализирующийся на анализе графов. Графовые структуры широко...
10 вопросов на знание основ фреймворка Spark: контрольный открытый интерактивный тест для начинающих изучать Spark
Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам контрольный общий тест по основам работы распределенного фреймворка Apache Spark, включая его особенности,...