Смотрим на конспирологическую теорию о том, что авторство “12 стульев” и “Золотой телёнок” принадлежит М. Булгакову

В последнее продолжительное время занимаюсь разработкой ПО и алгоритмов по русистике. Иногда ищу обсуждение, задачки из комментариев и на Хабре. Попался на глаза занятный комментарий:

Спрашивает username:к статье о стилометрии. — Спрашивает username:@e_failк статье о стилометрии.

На основе стилометрического анализа: авторство произведений «12 стульев» и «Золотой телёнок» не принадлежат Булгакову, однако кластеризация поставила тексты Булгакова и Ильфа/Петрова рядышком, что говорит о высокой близости, наверное отсюда и вытекает конспирология. На самом деле погрешность растёт ещё и из-за цензуры/издания (советы крутили тексты, как хотели, что фиксируют метрики лексического разнообразия).

Алгоритм кластеризации: считаю буквенные n-граммы текстов, как придумал Бёрроуз в 2002 году однако с учётом морфологии русского языка (простыми словами: на этом шаге игнорирую шум — сюжет и диалоги), добавляю признаки на основе пунктуации и доли эмоционального тона, а на пред финише стилистическое сходство между книгами вычисляю через косинусное расстояние (тогда как в классике метод Дельты Бёрроуза использует менее точное — манхэттенское расстояние, это не только моя оценка на основе разработки/улучшения алгоритма и анализа текстов, но в некоторых англоязычных статьях приложены пруфы, где «косинус даёт более релевантные результаты»). На финальном шаге алгоритм UPGMA из научной либы Scipy осуществляет группировку на основе матрицы расстояний -> получаю живой график в Plotly (работает прицел и всплывающая подсказка).

Пример кластерного анализа книг, интересует В. Панова, где одна его книга сильно выбивается из его авторского стиля. Причина найдена сразу: открываем аннотацию к "подозрительной" книжке и видим, что текст написан в соавторстве с Р. Папсуевым, а не чисто Пановым (кстати, там ещё и по другим признакам различия в книгах всплывают, но это уже за пределами нашей кластерной темы). Обратите внимание, как математика кластеризации красиво сортирует: книги группируются пачками по авторам, можно подкидывать ноунейм тексты и вычислять псевдонимов, примерно так и была разоблачена госпожа Роулинг под левым именем Гэлбрейта в 2013 году. — Пример кластерного анализа книг, интересует В. Панова, где одна его книга сильно выбивается из его авторского стиля. Причина найдена сразу: открываем аннотацию к «подозрительной» книжке и видим, что текст написан в соавторстве с Р. Папсуевым, а не чисто Пановым (кстати, там ещё и по другим признакам различия в книгах всплывают, но это уже за пределами нашей кластерной темы). Обратите внимание, как математика кластеризации красиво сортирует: книги группируются пачками по авторам, можно подкидывать ноунейм тексты и вычислять псевдонимов, примерно так и была разоблачена госпожа Роулинг под левым именем Гэлбрейта в 2013 году.

Возвращаемся к основному анализу, что там с Булгаковым…

Сходство между текстами Булгакова "Матер и Маргарита" vs Ильфа/Петрова "Золотой телёнок" всего лишь 20% в размерной шкале, т.е. низкое. Тогда как сходство АС между "Телёнком" и "Стульями" - 66% (тексты за одним(и) автором), Но для ажиотажа добавлю, что максимальное зафиксированное сходство между разными авторами получилось между "Золотой телёнок" и "Белая гвардия" - 36%, цифра довольно внушительная (возможно, к правке рукописей причастны те же люди ответственные за цензуру те же годы 1928/1929), но показатель не достаточный, чтобы поддерживать конспирологическую теорию на высокой ноте. — Сходство между текстами Булгакова «**Матер и Маргарита**» vs Ильфа/Петрова «**Золотой телёнок**» всего лишь 20% в размерной шкале, т.е. низкое. Тогда как сходство `АС` между «Телёнком» и «Стульями» — 66% *(тексты за одним(и) автором)*, Но для ажиотажа добавлю, что максимальное зафиксированное сходство между разными авторами получилось между «**Золотой телёнок**» и «**Белая гвардия**» — 36%, цифра довольно внушительная *(возможно, к правке рукописей причастны те же люди ответственные за цензуру те же годы 1928/1929),* но показатель не достаточный, чтобы поддерживать конспирологическую теорию на высокой ноте.

Полная матрица сходства и различий по авторскому стилю на основе моей мини библиотеки. Можно скачать живую визуализацию для более удобного анализа, выложил файл тут.

P/S/: анализ локальный и доступен технарям на ладони (хоть и не всем, не вина пользователей, а техническая политика Гугла по OS Android): офлайн/смартфон, лонгрид не даст соврать: почти 300К просмотров и сотни закладок…

P/S2: Сполйер, прототип академического ПО, которое ждут в России, почти готово, спустя всего-то в целом какие-то пару лет…

ПО включает пару десятков живых визуализаций, и ещё больше текстовых метрик.

💎 Опробовать поисковую систему, разработанную автором статьи.

ссылка на оригинал статьи https://habr.com/ru/articles/1060582/