От текста к краткому изложению: библиотека Sumy

Привет, Хабр!

Объем информации растет с каждым днем, умение быстро извлекать суть из больших массивов данных становится мастхэв навыком. Библиотека Sumy справляется с этой задачей на ура, предоставляя возможность получать сжатые и четкие версии длинных текстов.

Sumy — это инструмент для автоматического обобщения текстов на Python. В основе работы лежит задача резюмирования текста, которая позволяет получать краткие и четкие версии больших объемов информации.

Установим:

pip install sumy

Основные фичи Sumy:

1. Sumy поддерживает несколько методов обобщения, включая LSA, TextRank и LexRank.

2. С минимальным количеством кода можно начать обобщение текста довольно быстро.

3. Sumy легко интегрируется с другими Python-библиотеками.

4. Помимо английского, Sumy также предоставляет поддержку для русского языка.

Основной синтаксис

Перед началом работы необходимо импортировать необходимые модули. Базовый шаблон, который используется в большинстве случаев:

from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.lsa import LsaSummarizer from sumy.summarizers.text_rank import TextRankSummarizer

Парсеры преобразуют текст в формат, который можно использовать для резюмирования.

В Sumy доступны четыре основных парсера для работы с текстом:

1. PlaintextParser: для обработки простых текстов и строк. Хорош для работы с обычными текстовыми файлами.

2. HtmlParser: для извлечения текста из HTML-документов и веб-страниц.

3. JsonParser: для обработки текста из JSON-структур.

4. DocxParser: для извлечения текста из документов Microsoft Word.

ПримерPlaintextParser:

from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer  text = """Текст, который вы хотите резюмировать. Он может быть довольно длинным и содержать множество предложений.""" parser = PlaintextParser.from_string(text, Tokenizer("russian"))

Для работы с HTML-контентом:

from sumy.parsers.html import HtmlParser  url = "http://example.com" parser = HtmlParser.from_url(url, Tokenizer("russian"))

Токенизаторы делят текст на предложения и слова. Для русского языка чаще всего используется Tokenizer("russian"). Однако можно юзать стандартные токенизаторы NLTK для большего контроля:

from sumy.nlp.tokenizers import Tokenizer  tokenizer = Tokenizer("russian")

Применение алгоритмов выглядит следующим образом, напомню, что поддерживаются эти: Latent Semantic Analysis, TextRank, LexRank и LsaSummarizer.

LSA:

from sumy.summarizers.lsa import LsaSummarizer  summarizer = LsaSummarizer() summary = summarizer(parser.document, 3)  # получить 3 предложения  for sentence in summary:     print(sentence)

TextRank:

from sumy.summarizers.text_rank import TextRankSummarizer  summarizer = TextRankSummarizer() summary = summarizer(parser.document, 3)  # получить 3 предложения  for sentence in summary:     print(sentence)

Можно также указать количество предложений, которые хочется получить в резюме. Это делается при вызове метода суммаризатора:

summary = summarizer(parser.document, 2)  # получить 2 предложения

Примеры применения

Обобщение новостных статей

Допустим, нужно создать краткие резюме для новостных статей, чтобы можно было быстро ознакомиться с основными событиями дня. Sumy идеально вписывается в это, т.к позволяет извлекать ключевые предложения и идеи из длинных текстов:

from sumy.parsers.html import HtmlParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.lsa import LsaSummarizer  # URL новостной статьи url = "https://example-news-site.com/article"  # инициализация парсера и суммаризатора parser = HtmlParser.from_url(url, Tokenizer("english")) summarizer = LsaSummarizer()  # генерация резюме summary = summarizer(parser.document, 3)  # получить 3 предложения  print("Краткое резюме статьи:") for sentence in summary:     print(sentence)

Используем HtmlParser для загрузки новостной статьи по URL и LsaSummarizer для создания краткого резюме, состоящего из трех предложений.

Анализ отчетов

Часто требуется быстро ознакомиться с длинными отчетами или теми же исследовательскими работами.

from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.text_rank import TextRankSummarizer  # исходный текст научного отчета text = """В этом исследовании мы анализируем влияние изменения климата на экосистемы. Используются различные методы для оценки изменений температуры и уровня осадков. Результаты показывают значительное влияние на растительность и животный мир."""  # инициализация парсера и суммаризатора parser = PlaintextParser.from_string(text, Tokenizer("english")) summarizer = TextRankSummarizer()  # генерация резюме summary = summarizer(parser.document, 2)  # получить 2 предложения  print("Краткое резюме отчета:") for sentence in summary:     print(sentence)

Используем PlaintextParser для работы с текстовым содержимым научного отчета и TextRankSummarizer для получения краткого резюме, содержащего два предложения.

Обработка отзывов пользователей

Sumy позволяет извлекать общие мнения и выявлять основные тенденции в отзывах.

from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.lex_rank import LexRankSummarizer  # исходные отзывы пользователей text = """Этот продукт превосходен! Он оправдал все мои ожидания. Мне не понравилось качество упаковки, но сам продукт отличного качества. Рекомендую всем, кто ищет надежный товар."""  # инициализация парсера и суммаризатора parser = PlaintextParser.from_string(text, Tokenizer("english")) summarizer = LexRankSummarizer()  # генерация резюме summary = summarizer(parser.document, 2)  # получить 2 предложения  print("Краткое резюме отзывов:") for sentence in summary:     print(sentence)

Используем LexRankSummarizer для обработки текстов отзывов и создания резюме, состоящего из двух предложений.

Подробнее с библиотекой можно ознакомиться здесь.

А напоследок хочу пригласить вас на бесплатный вебинар, где вы узнаете, что такое RAG, зачем это нужно в NLP сервисах и в каких областях применяется эта технология. Помимо этого мы рассмотрим типы RAG, методы оценки качества RAG сервиса и практический пример на задаче Question Answering (QA).

• Зарегистрироваться на бесплатный вебинар