Чтобы самостоятельное обучение по Spark стало еще интереснее, сегодня мы предлагаем вам простой тест по основам работы с алгоритмом случайных лесов в распределенном фреймворке Apache...
Motif Finding, или как найти заданную структуру в графе
В прошлый раз мы говорили об основных операциях над графами GraphFrames в Apache Spark. Сегодня рассмотрим поиск по шаблону (motif finding). Что такое motif finding,...
Что такое алгоритм случайного леса в Apache Spark
В прошлый раз мы говорили про архитектуру распределенной среды в Spark. Сегодня поговорим про особенности работы такого алгоритма машинного обучения, как случайный лес. Читайте далее...
Начало работы с GraphFrames
В предыдущей статье мы говорили об установке GraphFrames на свой компьютер. Сегодня начнём работать с этой библиотекой. Читайте в этой статье: как создать граф GraphFrame,...
Быстрая установка GraphFrames
Установка той или иной библиотеки может оказаться муторным делом, порой приходится тратить уйму времени на это. С установкой пакета GraphFrames для работы с графами в...
Метод опорных векторов в Apache Spark
Продолжим говорить об алгоритмах машинного обучения Apache Spark. Сегодня рассмотрим метод опорных векторов. В этой статье вы узнаете, как решается задача классификации на примере реального...
Многоклассовая классификация: наивный Байес
Продолжим разговор об алгоритмах машинного обучения (Machine Learning) в Apache Spark. Сегодня рассмотрим наивный байесовский классификатор (Naive Bayes) и его реализации в Spark ML. Читайте...
Ансамблевые алгоритмы Spark ML: градиентный бустинг
В прошлой статье мы говорили о случайном лесе в Apache Spark. Сегодня рассмотрим еще один ансамблевый алгоритм машинного обучения – градиентный бустинг (Gradient Boosting). Читайте...
Что такое архитектура распределенной среды Spark
В прошлый раз мы говорили деревья решений в Spark. Сегодня поговорим о том, как устроена распределенная архитектура Big Data фреймворка Apache Spark. Читайте далее про...
Ансамблевые алгоритмы Spark ML: Случайный лес
В предыдущей статье мы говорили о таком алгоритме машинного обучения, как деревья решений (Decision Trees). Сегодня рассмотрим ансамблевый алгоритм, который состоит из множества таких деревьев...