В МТУСИ применили методы многомерного статистического анализа и NLP для классификации научных публикаций

Обработка естественного языка, или NLP, — ключевой раздел науки о данных, популярный в промышленности и академических кругах. С развитием NLP растет количество докладов на конференциях и статей в научных журналах, что усложняет поиск нужной информации.

Классификация и выявление тематик в научных публикациях важны для нормализации цитирований и построения журнальных метрик, таких как квартили. В стандартных наукометрических инструментах, таких как Web of Science и Scopus, классификации присваиваются редакторами баз журналов, а публикации в этих источниках приписываются к этим же тематикам. Полноценная классификация на уровне отдельных статей существует только для мультидисциплинарных журналов, а наборы тематик устарели и почти не меняются.

Современные методы выявления тематик основываются на анализе ключевых слов и фраз, извлекаемых из названий, аннотаций и текстов статей, а также на анализе цитирований. Эти методы автоматизированы и способны обрабатывать большие объемы данных, но есть проблема с объективностью результатов, так как ключевые слова выделяет автор. Часто можно встретить набор ключевых слов, не отражающий содержание работы, к примеру: «artificial intelligence, intelligent systems, machine learning» и т.д..

В связи с этим возникла необходимость в применении универсальной методики с использованием современных алгоритмов кластеризации, которая может значительно улучшить понимание и интерпретацию научной литературы.

• Владислав Головченко, бакалавр МТУСИ, под руководством доцента кафедры ТВиПМ, к.ф.-м.н. Ирины Синевой применили современные методы многомерного статистического анализа и NLP для классификации научных публикаций на основе аннотаций.

Для более глубокого изучения текстов была применена комбинация известных подходов, но с аутентичными настройками и использованием более мощных вычислительных ресурсов. В качестве основы для анализа был взят набор публикаций с конференции Twenty-Eighth Conference on Artificial Intelligence, включающий 1406 статей. Из них 398 (28,3%) были приняты к публикации, что составило 3282 страницы текста, объединенных общей тематикой — искусственный интеллект. Для классификации этого массива данных были выбраны метод k-means и иерархический агломеративный алгоритм.

«Важный этап работы с датасетом – предобработка данных, включающая очистку (удаление знаков препинания, стоп-слов), токенизацию, векторизацию. Мы удалили все знаки препинания и лишние слова, а затем токенизировали текст — преобразовали его в набор слов, каждый из которых стал отдельным символом. Этот процесс известен как векторизация. Для классификации мы использовали алгоритмы k-means и иерархический на основе метода Уорда. Количество групп, которые мы определили, было основано на анализе метода силуэта (Silhouette). Датасет включал информацию на английском языке: название работы, авторов, секцию конференции, ключевые слова, тематику и аннотацию (от 1500 знаков). На этапе отбора и предобработки мы обнаружили некоторые недостатки: дисбаланс между группами данных и пропуски знаков препинания. В частности, у двух статей отсутствовал атрибут group, а у шести — topic. Однако мы решили не учитывать эти недочеты в анализе. Частотный подход к анализу текстов, основанный на законе Ципфа-Мандельброта, ускорил процесс фильтрации и повысил эффективность. Для извлечения признаков использовался метод TF-IDF, который выделил значимые слова и определил вес каждого слова.», — пояснила Ирина Синева.

Для оценки результатов при различных k использовался метод силуэта (Silhouette). Значение силуэта показывает, насколько объект соответствует своему классу и другим классам. Если многие объекты имеют низкие или отрицательные значения силуэта – в конфигурации слишком много или слишком мало классов. Этот подход позволяет обосновать число классов при обучении без учителя.

Владислав Головченко рассказал, что для нахождения количества классов были протестированы разные классификации, их сравнение проведено на основе силуэтов. Наилучшим результатом оказалось разбиение публикаций на 10 классов, для каждого класса обнаружены особенности контента. При этом было обнаружено, что распределение исходных разделов по генерализованным классам обладает рядом хороших свойств. Агломеративный иерархический анализ на базе метода Уорда с квадратичной функцией потерь подтвердил, что массив аннотаций конференции AAAI-14 логичнее и эффективнее относить к 10 классам. Для проверки этой гипотезы о количестве классов было проведено сравнение результатов кластеризации при k=10 и k=15. Результаты показали, что при k=10 классы более сбалансированы и не перекрываются, что подтверждает предположение о количестве классов.

Методы, такие как k-means и агломеративный иерархический анализ, основанный на методе Уорда, продемонстрировали высокую точность и детализацию в классификации текстов с одинаковой тематикой. Исследование показало, что полученные классы носят контекстно-осмысленный характер, они легко различимы на основе наиболее часто используемых терминов. Были также выделены некоторые самостоятельные классы, связанные с изображениями, компьютерным зрением, теорией игр, экономикой, планированием, новыми алгоритмами.

В ходе данного исследования было установлено, что математические алгоритмы, основанные на законе Ципфа-Мандельброта, а также их взвешенные модификации, обеспечивают более точное выявление терминологических особенностей и сравнение публикаций, особенно в научных публикациях, где терминологическая классификация неоднозначна.

Учёные отмечают, что использование аннотаций научных работ вместо полных текстов показало свою оправданность с точки зрения экономии вычислительных ресурсов и времени, обеспечивая при этом адекватную точность классификации. Дальнейшие исследования могут быть направлены на использование полных текстов и более мощных вычислительных ресурсов, что позволит более точно идентифицировать смысловые компоненты и классифицировать научные публикации.

Представленное исследование демонстрирует перспективность применения методов статистической обработки и их модификаций в задаче классификации научных текстов. Полученные результаты могут служить основой для разработки автоматизированных систем, способных эффективно обрабатывать большие объемы научной информации, что особенно актуально в условиях стремительного роста числа публикаций и необходимости их систематизации.