Почему model collapse может оказаться коллапсом не только моделей

Проблема коллапса моделей, или model collapse, сегодня хорошо известна. Если следующую генеративную модель обучать на текстах, созданных предыдущей, распределение обучающих данных начинает сужаться от поколения к поколению. Сначала исчезают редкие случаи: необычные обороты, маловероятные сочетания, локальные знания, отклонения от нормы. Затем беднее становится и сама норма.

Каждая отдельная генерация при этом может выглядеть убедительно: грамматически правильной, логичной и узнаваемой. Ошибка проявляется не как сразу заметный бред, а как постепенное сокращение пространства возможного.

Это похоже на последовательность копий: первая почти неотличима, десятая всё ещё узнаваема, сотая сохраняет общий контур, но теряет детали, которые никто не считал важными, пока они не исчезли.

Здесь необходима оговорка. Коллапс моделей не считается неизбежным: эксперименты показывают, что сохранение исходного человеческого корпуса данных и контролируемое добавление синтетических данных могут стабилизировать обучение. Но пока это больше похоже на способ сдерживать деградацию, чем на окончательное решение. Система по-прежнему требует постоянного внешнего якоря, а редкие части распределения могут исчезать первыми.

Для AI-компаний это хотя бы инженерная задача: корпус можно очистить, пересобрать, заново взвесить и повторить обучение.

У людей такой возможности нет.

Племя Бикура

В романе Дэна Симмонса «Гиперион» существует племя Бикура — потомки колонистов, исчезнувших несколько столетий назад. Они носят на груди крестоформ: паразитический организм, способный после смерти восстановить своего носителя.

Крестоформ исполняет одно из древнейших человеческих обещаний. Он побеждает смерть.

Но восстанавливает человека не идеально. Каждое новое воскрешение оказывается реконструкцией предыдущей реконструкции. Через множество циклов Бикура сохраняют общую человеческую форму, но утрачивают значительную часть того, что делало их людьми.

Они становятся ниже, грубее, интеллектуально беднее и почти неразличимыми друг от друга. Исчезают не только личные особенности, но и сами половые признаки. Их тела постепенно сглаживаются, становясь бесполыми, почти кукольными. Вместе с различиями исчезает способность к размножению.

Они бессмертны, но стерильны.

Это важная деталь. Коллапс не просто портит копию. Он удаляет всё, что не требуется для сохранения минимально узнаваемой формы. Пол, индивидуальность, интеллект и репродуктивная способность оказываются избыточной сложностью.

Крестоформ не уничтожил племя. Он сохранил его. Бикура продолжают существовать, говорить, совершать ритуалы и поддерживать устойчивое сообщество. Они утратили не жизнь, а способность породить продолжение, отличающееся от бесконечного восстановления уже существующей формы.

Это почти идеальная метафора коллапса модели.

Но, возможно, не модели следует считать её главным объектом.

Человек внутри обучающего контура

Обычная схема коллапса выглядит просто:

человеческие данные обучают модель;
модель создаёт синтетические данные;
синтетические данные обучают следующую модель.

Опасность видят в последнем переходе. Модель начинает учиться на собственных отражениях и постепенно принимает реконструкцию мира за сам мир.

Но современный контур уже длиннее:

человеческая культура создаёт модель;
модель производит тексты, изображения и объяснения;
люди читают их, используют и присваивают;
модельные конструкции входят в человеческий язык и мышление;
люди производят новые тексты уже под их влиянием;
следующая модель обучается на этих текстах как на человеческих.

На этом этапе различие между человеческими и синтетическими данными перестаёт быть достаточным.

Текст может быть полностью набран человеком и при этом оставаться продуктом модельного контура. Автор мог получить от модели структуру аргумента, исходные категории, примеры, допустимые возражения и представление о том, как должен звучать убедительный текст. Затем он переписал всё своими словами. Ни детектор, ни водяной знак уже не покажут происхождения мысли.

Формально это человеческий текст.

Но независимым человеческим источником он уже не является.

Модели не просто добавляют синтетический материал в интернет. Они меняют самих производителей «настоящих» данных. Человек перестаёт быть независимым источником вне системы и становится промежуточным звеном обратной связи.

Именно здесь техническая проблема превращается в культурную.

Улучшение без разнообразия

У этого процесса нет причины выглядеть как деградация.

Наоборот, в каждом отдельном случае модель часто улучшает результат. Она исправляет язык, предлагает структуру, расширяет список аргументов, убирает повторы и помогает человеку выразить то, что он не сумел бы сформулировать самостоятельно. Слабый автор начинает писать лучше. Медленный — быстрее. Неуверенный получает гладкий и убедительный текст.

Это реальная польза, а не маркетинговая иллюзия.

Но индивидуальное улучшение не гарантирует улучшения среды.

Если тысячи людей получают помощь от одних и тех же моделей, обученных на сходных корпусах и оптимизированных под сходные представления о хорошем ответе, их тексты могут становиться лучше по отдельности и одновременно — похожими друг на друга.

Система поднимает среднее качество и сокращает разброс.

Для отдельного пользователя это выгодный обмен. Для культуры разброс может быть важнее среднего. Новые направления возникают не из аккуратного воспроизведения нормы, а из отклонений: странных формулировок, непопулярных вопросов, локальных традиций, ошибочных догадок и людей, которые ещё не научились правильно объяснять, что имеют в виду.

Большинство таких отклонений ни к чему не приводит. Они выглядят как шум. Но без этого шума культура способна только улучшать уже известное.

Коллапс модели тоже начинается с удаления шума.

Исчезновение источника

Проблема состоит не только в том, что интернет заполняется автоматически созданными страницами. Одновременно сокращается производство первичного человеческого материала.

Человек, который получил ответ от чат-бота, не задаёт вопрос на форуме. Он не описывает ход попыток, не спорит с другими участниками и не оставляет публичную запись своей ошибки. Студент, получивший готовую структуру, не сохраняет промежуточные версии рассуждения. Специалист, использующий автоматическое резюме, может не написать собственного разбора статьи.

Интернет при этом не становится пустым. Напротив, текста становится больше.

Но исчезает след, по которому можно было восстановить, как человек пришёл к результату. Культура состоит не только из правильных ответов. Она состоит из историй ошибок, несовершенных наблюдений, конфликтующих объяснений и множества несовместимых способов смотреть на один объект.

Модель легко создаёт итог. Гораздо труднее создать независимый источник опыта, которого раньше не существовало.

Если первичное человеческое производство сокращается, чистые данные не просто скрываются под синтетическим мусором. Они перестают возникать.

Архив интернета до появления генеративных моделей способен сохранить прошлое. Он не способен создать новое настоящее.

Человеческий корпус

Разработчики моделей уже начинают относиться к проверенным человеческим данным как к ограниченному ресурсу. Старые книги, научные публикации, архивы сайтов и лицензированные коллекции приобретают новую ценность. На фоне синтетического потока происхождение данных становится частью их качества.

Можно представить, что техническая проблема будет хотя бы временно решена. Компании создадут закрытые чистые корпуса, научатся фильтровать автоматические тексты и сохранят достаточно человеческого материала для обучения следующих поколений моделей.

Но модель можно обучить на романе, написанном в 1980 году, а человеческий опыт 2040 года из него извлечь нельзя. Старый корпус способен поддерживать языковое разнообразие модели, но не способен заменить людей, которые должны произвести новое знание, новую культуру и новые формы восприятия.

Чтобы такие данные появились, недостаточно сохранить старые книги. Необходимо сохранить людей, способных создавать то, чего ещё нет в книгах.

Это совсем другая задача.

Почему маркировка не спасает

Маркировка синтетического контента необходима, но отвечает только на вопрос, кто непосредственно создал файл. Она не показывает, кто сформировал автора.

Человек может получить от AI план статьи, переписать результат, добавить личный пример и опубликовать всё под собственным именем. Такой текст действительно написал человек. Но культурная петля уже замкнулась.

Знание о происхождении тоже не отменяет влияния. Мы можем понимать, что читаем машинный текст, и всё равно усваивать его словарь, структуру, набор нормальных аргументов и границы допустимого вопроса.

Загрязнение культуры не обязательно происходит через тайную подмену человека машиной. Оно может быть открытым, добровольным и полностью осознанным.

Бикура знали о крестоформе.

Они считали его спасением.

Катастрофа без события

У культурного коллапса модели, вероятно, не будет одного момента, когда всё сломается.

Поиск станет немного менее полезным. Статьи — немного более похожими. Академические тексты — более гладкими и менее содержательными. Реклама, инструкции, новости и комментарии будут выглядеть достаточно нормально. Люди продолжат работать, спорить и публиковаться.

Каждое изменение по отдельности окажется слишком малым, чтобы назвать его катастрофой.

Затем новое состояние станет стандартом. Дети будут учиться писать в среде, где большая часть доступной речи уже прошла через модели. Молодые специалисты будут осваивать профессии по материалам, созданным или переработанным AI. Авторы будут определять хороший стиль по текстам, оптимизированным системами, которые сами обучались на предыдущем представлении о хорошем стиле.

Через несколько циклов сравнивать станет не с чем.

Мы заметим не начало процесса, а момент, когда он уже изменил инструменты наблюдения. Оценивать состояние культуры будут люди, сформированные этой культурой. Измерять сокращение разнообразия будут категории, уже возникшие внутри сокращённого пространства.

Культурная деградация способна изменить само представление о том, что считать потерей.

Проблема без решения

У этой статьи нет списка мер.

Можно маркировать синтетические тексты, сохранять архивы, ограничивать автоматическую генерацию в образовании и поддерживать авторов, которые работают с первичным опытом. Всё это, вероятно, имеет смысл. Но ни одна из этих мер не решает проблему, если сама проблема поставлена верно.

Мы пока не знаем даже, что именно следует измерять.

Словарное однообразие? Сокращение разнообразия аргументов? Исчезновение редких культурных форм? Зависимость людей от готовых структур? Снижение способности начать рассуждение без машинной подсказки? Всё это может быть отдельными симптомами. Но из них ещё не сложилась теория процесса.

У коллапса модели есть математическое описание и хотя бы приблизительно определённый объект: распределение обучающих данных. У человеческого аналога нет ни согласованного названия, ни единицы измерения, ни контрольной группы. Мы разворачиваем эксперимент над всей информационной средой одновременно, не сохраняя мира, с которым затем можно будет сравнить результат, и делаем это без какого-либо бэкапа.

Возможно, никакого человеческого коллапса не произойдёт. Люди могут адаптироваться к новому инструменту, как адаптировались к письму, печати, фотографии и интернету. Модели могут расширить пространство культуры, снизив цену выражения и дав голос тем, кто раньше не мог им воспользоваться.

Но эта оптимистическая версия тоже остаётся предположением.

Этого недостаточно, чтобы объявить катастрофу. Но достаточно, чтобы признать проблему и не относиться к ней как к обычному недостатку технологии, который исправят следующей версией.

Заметный ущерб здесь по определению будет поздним. Если исчезнут некоторые способы думать, некому будет составить их полный список. Если культура утратит способность производить радикально новое, она продолжит производить убедительные объяснения того, почему ничего важного не потеряно.

Модель можно переобучить на сохранённом корпусе. Людей нельзя вернуть к предыдущей версии.

В «Гиперионе» крестоформ не убивает своих носителей. Он продолжает исправно воскрешать их, раз за разом сохраняя минимально необходимую человеческую форму. Всё лишнее постепенно исчезает: сложность тела, различия между людьми, интеллект, пол.

Бикура понимают, что с ними случилось, последними.

Возможно, у нас пока нет решения.

Но это плохая причина не замечать проблему, конечная стадия которой буквально выглядит как общество без половых признаков.