При работе со строками иногда приходится заменять одни строки столбца DataFrame на другие. Apache PySpark предлагает массу возможностей это сделать. В этой статье поговорим о...
Объединение таблиц с union и unionByName
Может случиться так, что вам нужно объединить два DataFrame в PySpark. Как это можно сделать? В этой статье мы расскажем, как объединить две или более...
Фильтрация данных в Apache Spark: лучшие практики
В прошлой статье мы говорили о вычислении SQL-выражений в Apache Spark, а также немного затронули тему фильтрации данных. В этот раз углубимся в эту тему,...
Как переименовать столбцы в Apache Spark
Встречались ли с ситуациями, когда имя столбца в PySpark неправильно написано или содержит пробелы, а вы хотели бы его переименовать? Тогда эта статья для вас....
5 способов вычисления SQL-выражений в Spark
Если вы знаете SQL, но еще не освоились с фреймворком Apache Spark, то вы можете выполнять запросы различными способами. В этой статье вы узнаете, как...
Из строк в столбцы с помощью функции pivot
В этой статье мы поговорим о способе преобразования столбцов в строки в Apache Spark. Для этого воспользуемся специальным методом (функцией) — pivot. Группировка не преобразует...
Управление массивами в Apache Spark
Массивы являются базовыми структурами данных, поэтому ожидаемо, что в Apache Spark есть поддержка базовых операция для работы с ними. В этой статье мы рассмотрим функции...
Как ранжируются сайты с помощью PageRank
Продолжаем говорить о визуализации графов GrahFrames. Сегодня поговорим о том, как ранжириуются сайты в поисковиках на основе алгоритма PageRank, и как он реализуется в GraphFrames....
Визуализация графов GraphFrames с помощью Graphviz
Графы всегда легче видеть, как они выглядят, чем просто ими оперировать. В этой статье поговорим о визуализации графов GraphFrames с помощью Graphviz. Читайте в этой...
Motif Finding, или как найти заданную структуру в графе
В прошлый раз мы говорили об основных операциях над графами GraphFrames в Apache Spark. Сегодня рассмотрим поиск по шаблону (motif finding). Что такое motif finding,...