Пять лучших NLP инструментов для работы с русским языком на Python

Привет, Хабр!

В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка.

Natasha

Библиотека Natasha имеет множество функций включая токенизацию, морфологический анализ, лемматизацию, синтаксический анализ и извлечение именованных сущностей.

Токенизация и сегментация текста на предложения и токены в Natasha осуществляются с помощью встроенной библиотеки Razdel:

from razdel import tokenize, sentenize text = "Текст для анализа." tokens = list(tokenize(text)) sents = list(sentenize(text))

Морфологический анализатор Natasha, основанный на модели Slovnet, позволяет извлекать богатую морфологическую информацию о каждом токене, такую как часть речи, род, число и падеж:

from natasha import MorphVocab, Doc  morph_vocab = MorphVocab() doc = Doc(text) doc.segment(segmenter) doc.tag_morph(morph_tagger)  for token in doc.tokens:     print(token.text, token.pos, token.feats)

Лемматизация в Natasha производится на основе того же морфологического анализа и использует Pymorphy для приведения слов к их начальной форме:

for token in doc.tokens:     token.lemmatize(morph_vocab)     print(token.text, token.lemma)

Синтаксический анализатор Natasha основан на модели Slovnet и позволяет строить деревья зависимостей для предложений. Например, визуализации синтаксического анализа будет выглядеть так:

doc.parse_syntax(syntax_parser) for sent in doc.sents:     sent.syntax.print()

Также есть функционал для извлечения именованных сущностей, таких как имена, локации и организации:

doc.tag_ner(ner_tagger) for span in doc.spans:     print(span.text, span.type)

DeepPavlov

DeepPavlov включает в себя множество готовых к использованию моделей NLP, настроенных и оптимизированных для решения специфических задач. Например, модели для классификации текстов, распознавания именованных сущностей и системы ответов на вопросы, базирующиеся на технологии BERT.

Модели DeepPavlov могут быть легко интегрированы и использованы через различные интерфейсы, к примеру через командную строку, Python API, REST API и даже через Docker.

DeepPavlov также оптимизирован для работы с GPU.

Примеры использования

Классификация намерений помогает понять, что хочет пользователь, вводя запрос в чат-бота. Можно использовать предобученную модель для классификации намерений:

from deeppavlov import build_model, configs  # загрузка модели классификации намерений intent_model = build_model(configs.classifiers.intents_snips, download=True)  # классификация намерения в запросе intent_predictions = intent_model(['Book a flight from New York to San Francisco']) print(intent_predictions)

Извлечение именованных сущностей используют для определения и классификации значимых информационных элементов в тексте:

ner_model = build_model(configs.ner.ner_ontonotes_bert_mult, download=True)  # извлечение сущностей из текста ner_results = ner_model(['John works at Disney in California']) print(ner_results)

Модель для ответов на вопросы позволяет системе находить ответы на вопросы, указанные в контексте:

qa_model = build_model(configs.squad.squad_bert, download=True)  # получение ответа на вопрос из предоставленного контекста qa_result = qa_model(["What is the capital of France?", "The capital of France is Paris."]) print(qa_result)

mystem и pymorphy2

MyStem — это продукт от Яндекса, предоставляющий возможности для морфологического и синтаксического анализа текстов. Он работает как консольное приложение и доступен для различных операционных систем (Windows, Linux, MacOS). MyStem использует собственные алгоритмы для определения начальной формы слова и его грамматических характеристик

Например, базовая лемматизация и морфологический анализ:

from pymystem3 import Mystem  m = Mystem() text = "Мама мыла раму каждый вечер перед сном." lemmas = m.lemmatize(text) print(''.join(lemmas))  analyzed = m.analyze(text) for word_info in analyzed:     if 'analysis' in word_info and word_info['analysis']:         gr = word_info['analysis'][0]['gr']         print(f"{word_info['text']} - {gr}")

PyMorphy2 также предоставляет функции для морфологического анализа текстов, но в отличие от MyStem, PyMorphy2 полностью открыта и развивается сообществом. Библиотека использует словари OpenCorpora для анализа и может работать с русским и украинским языком. PyMorphy2 также предлагает API.

Примеры использования:

Определение части речи и форм слова:

import pymorphy2  morph = pymorphy2.MorphAnalyzer() word = 'стали' parsed_word = morph.parse(word)[0] print(f"Нормальная форма: {parsed_word.normal_form}") print(f"Часть речи: {parsed_word.tag.POS}") print(f"Полное морфологическое описание: {parsed_word.tag}")

Согласование слова с числом:

word = 'книга' parsed_word = morph.parse(word)[0] plural = parsed_word.make_agree_with_number(5).word print(f"Множественное число слова '{word}': {plural}")

Работа с различными падежами:

word = 'город' parsed_word = morph.parse(word)[0] for case in ['nomn', 'gent', 'datv', 'accs', 'ablt', 'loct']:     form = parsed_word.inflect({case}).word     print(f"{case}: {form}")

Сравним эти библиотеки в таблице

RuBERT

RuBERT от DeepPavlov — это адаптация архитектуры BERT, специализированная для русского языка. Модель была предварительно обучена на корпусе, включающем русскоязычную Википедию и новостные данные. RuBERT использует мультиязычную версию BERT-base в качестве инициализации.

Используя RuBERT, можно реализовать систему классификации текста. Например, определить, относится ли текст к положительному или отрицательному отзыву:

from transformers import BertTokenizer, BertForSequenceClassification from torch.nn.functional import softmax  # загрузка токенизатора и модели tokenizer = BertTokenizer.from_pretrained('DeepPavlov/rubert-base-cased') model = BertForSequenceClassification.from_pretrained('DeepPavlov/rubert-base-cased', num_labels=2)  # пример текста text = "Этот продукт был отличным!"  # токенизация и создание входных данных для модели inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512)  # получение предсказаний outputs = model(**inputs) predictions = softmax(outputs.logits, dim=-1)

Для извлечения именованных сущностей можно адаптировать Conversational RuBERT, обучив его на соответствующей задаче NER:

from transformers import BertTokenizer, BertForTokenClassification import torch  tokenizer = BertTokenizer.from_pretrained('DeepPavlov/rubert-base-cased-conversational') model = BertForTokenClassification.from_pretrained('DeepPavlov/rubert-base-cased-conversational', num_labels=9)  # предполагаем 9 классов сущностей  text = "Анна поехала в Москву на выставку."  inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512)  # предсказание with torch.no_grad():     outputs = model(**inputs) predictions = torch.argmax(outputs.logits, dim=-1)  # сопоставление предсказаний с токенами tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0]) for token, prediction in zip(tokens, predictions[0]):     print(f"{token} - {model.config.id2label[prediction.item()]}")

Подробнее про библиотеки можно прочесть здесь:

MyStem:
— MyStem на GitHub

PyMorphy2:
— PyMorphy2 на GitHub

RuBERT и другие модели DeepPavlov:
— RuBERT на Hugging Face
— Conversational RuBERT на Hugging Face
— DeepPavlov на GitHub

---

Погрузиться в NLP, освоить различные языковые модели и создать собственный телеграм-бот можно на онлайн-курсе от экспертов-практиков.