Область NLP (Natural language processing) обладает широким спектром инструментов обработки текстовых данных. Одним из таких инструментов является Spark NLP. В этой статье мы расскажем вам о основных преимуществах данной библиотеки обработки данных на естественном языке.
Зачем использовать Spark NLP
Сфера NLP (Natural language processing), или обработка текстов на естественном языке, одна из самых преуспевающих и интересных компонентов Data Science. В ее задачи входят: чат-боты, обобщение информации, анализ тональности текста (sentiment analysis), перевод, распознавание именнованных сущностей (NER) и еще масса других областей.
Для решения задач NLP имеется огромное количество библиотек. К ним относятся:
- Natural Language Toolkit NLTK, который предлагает большой набор инструментов.
- Stanford Core NLP немного схож с NLTK; разрабатывался в Stanford.
- SpaCy используется для обучения моделей и скорейшее их развертывание, т.е. имеет наиболее практическое применение.
Конечно, список библиотек не ограничивается этими 3. Есть, например, популярный синтаксический анализатор PyMorphy2 ) для русского языка, а также парсер Yargy на основе контекстно-свободной грамматики. Но мы говорим о наиболее универсальных библиотеках. К таким еще будет относиться Spark NLP. А ее преимуществах мы сейчас поговорим.
Одно решение для всех ваших нужд
Spark NLP еще богаче на инструменты, чем вышеперечисленные. Причем вы получается заметный рост в производительности за счет фреймворка Apache Spark.
| Name | Spark NLP | spaCy | NLTK | StanfordNLP |
|---|---|---|---|---|
| Токенизация | + | + | + | + |
| Стэминг | + | + | + | + |
| Лемматизация | + | + | + | + |
| Анализ частей речи | + | + | + | + |
| Аннотация дат | + | — | — | + |
| Проверка орфографии | + | — | — | — |
| Анализ тональности | + | — | — | + |
| Готовые модели | + | + | + | + |
Spark NLP предлагает, помимо основных функционалов, проверку орфографии и поиск дат. Также как и в spaCy используется технология конвейеров (pipeline), которая повышает производительность работы.
Трансферное обучение (Transfer learning) и множество NLP алгоритмов
В трансферном обучение предполагается использовать предобученную модель для решения другой задачи (больше о transfer learning). Это один самых используемых и эффективных видов обучения.
В Spark NLP уже встроено множество моделей: ELMo, BERT, RoBERTa, ALBERT, XLNet, Ernie, ULMFiT, OpenAI transformer. Поэтому вам не обязательно обучать с нуля свои.
При этом, Spark MLlib не очень богат на инструменты для обработки текстов на естественном языке. Например, для обучения векторных представления имеется только Word2Vec. Вам не придется писать дополнительные функции UDF, чтобы получить интеграцию с библиотеками, не связанными с Apache Spark. В итоге, мы получаем особенности параллельных вычислений самого Спарка и коллекцию инструментов обработки естественных языков.
Используем в production
Многие библиотеки в большинстве случаев применяются в академических областях. Из-за этого они страдают нехваткой прототипирования, простым API, возможностью масштабирования, экономией потребления памяти и возможностью переиспользовать код.
Библиотека уже используется в корпоративном секторе, поэтому проблемы с багами, рефакторингом, сериализацией уже решены. Spark NLP используется в Intel, Roche, Bitvore и другие.
Также Spark NLP, как библиотека с открытым исходным кода, выиграла грант от John Snow Labs. Компания финансирует проект, дает консультации, а также обеспечивает разработчиками. Поэтому не стоит волноваться о стабильности работы библиотеки.
О том, как проводить анализ данных с помощью фреймворка Apache Spark на реальных примерах Data Science на специализированном курсе по машинному обучению «Анализ данных с Apache Spark» в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.
