Эпоха языковых моделей подходит к концу
У крупнейших имён в мире ИИ есть проблема старения — и они пытаются решить её, наращивая вычислительную мощь. Грубая ошибка.
OpenAI, Google, Anthropic и прочие последние два года масштабируют вычисления на этапе инференса: цепочки рассуждений, деревья поиска, петли верификации, больше токенов во время работы модели. Как я уже писал ранее, этот подход устранил большинство поверхностных галлюцинаций — тех, что компрометируют вас на демонстрации, — зато породил более глубокие структурные ошибки: куда труднее обнаруживаемые и куда более опасные.
И вот что большинство упускает из виду: новые языковые модели звучат умнее. Но умнее они не стали. Они просто научились галлюцинировать с более изощрённой грамматикой. Данные это подтверждают: с каждым новым релизом глубинный уровень галлюцинаций растёт, а не снижается.
Одна из последних крупных моделей OpenAI показала почти невероятные 50% галлюцинаций на их собственном бенчмарке SimpleQA. Каждый второй ответ — выдуман. Связность речи — это маска. То, что под ней, становится всё хуже.
Итак: компании, доминировавшие в первую эпоху ИИ, превращаются в её динозавров — и слишком заняты масштабированием, чтобы заметить то, что новые игроки уже давно поняли.
Интеллект — это не замороженная функция. Это непрерывно обновляемое вероятностное распределение, движущееся через структурированное пространство. И в настоящей обучающейся системе пространство — не сцена, на которой разворачиваются вычисления. Пространство — часть самого сценария.
В спокойные времена это был бы вопрос технического долга. Дорогостоящего, но управляемого. Но сейчас — не спокойные времена. Окно закрывается, потому что сама архитектура упёрлась в стену, которую вычислительной мощью не пробить. И впервые за всё это время по другую сторону стены стоят реальные альтернативы.
Новый класс ИИ-архитектур готов к серьёзному перехвату всей отрасли. Не за счёт строительства более крупных трансформеров. Не за счёт более долгого обучения. За счёт смены пространства, в котором происходят вычисления. У этого подхода пока нет единого названия, но техническое основание очевидно: байесовский ИИ на основе метрики Фишера. Он заменяет плоскую евклидову геометрию, которую нейросети используют с 1980-х годов, на изогнутую информационно-теоретическую геометрию, в которой вероятностные распределения существуют на самом деле. Это не улучшение существующей парадигмы. Это устаревание математической поверхности, на которой та парадигма была построена.
Кстати, об инструментах. Если вам нужен доступ ко всем ключевым моделям — Claude, GPT, Gemini — загляните на BotHub.
Для доступа не требуется VPN, можно использовать российскую карту.
По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Отложим технический жаргон и разберём это на реальном примере.
Представьте два дрона, летящих над одним и тем же ландшафтом с одними и теми же препятствиями. Первый работает на замороженном ИИ, обученном по принципу языковой модели: он проложил маршрут один раз до вылета и никогда его не обновляет — потому что для такого ИИ мир перестаёт меняться в момент окончания обучения. Второй работает на байесовском «мозге»: каждое показание датчика перестраивает его карту реального мира в режиме реального времени.
У одного дрона была карта. Другой строит карту на лету.
Неудивительно: замороженные дроны разбиваются, потому что их карты тоже заморожены.
Неприятное открытие, однако, состоит в том, что именно вокруг этого несовершенного ИИ и была выстроена вся индустрия.
Чат-боты отвечают на вопросы о мире, который уже изменился после их обучения. Автономные системы ориентируются в городах, которые стали другими с момента последнего обновления модели. Финансовые модели оценивают риски в рыночных режимах, которых не существовало в их обучающих данных. Медицинские ИИ ставят диагнозы на основе знаний, которые перестали развиваться в день выхода продукта из производства. Можно продолжать бесконечно — но суть ясна: каждая из этих областей отчаянно нуждается в ИИ, способном переобучаться в процессе работы.
Компании, строящие байесовскую альтернативу, не просто дорабатывают старую архитектуру. Они заменяют статичную карту чем-то живым. Их дроны не разбиваются, потому что они никогда не летели вслепую. Они строят рельеф по мере движения через него, перестраивая своё внутреннее пространство с каждым новым наблюдением — сгущая уверенность там, где свидетельства убедительны, и оставляя её размытой там, где мир ещё неясен.
Это не незначительное техническое улучшение. Это разница между интеллектом, остающимся в контакте с реальностью, и интеллектом, который устаревает в момент, когда реальность меняется.
Глубже в суть новых ИИ-движков
Вся крупная ИИ-индустрия по-прежнему работает, сохраняя своё параметрическое ядро замороженным во время инференса.
Это означает: выученные параметры не обновляются в реальном времени на основе вашего потока взаимодействий. Да, индустрия теперь оборачивает эти замороженные веса слоями извлечения, хранилищами памяти, использованием инструментов, агентными петлями и всевозможными протезами. Но снимите этот каркас — и ситуация всегда одна и та же: статичный набор выученных параметров, не изменившихся с момента последнего цикла переобучения.
Неопровержимое доказательство? Последние модели GPT описывались OpenAI как трансформер, предобученный предсказывать следующий токен и затем дообученный — но не как система, непрерывно переписывающая свои основные убеждения в процессе использования. Перечитайте это. Самая продвинутая ИИ-система на планете была описана её собственными создателями как машина, которая обучается один раз, выходит в мир — и замирает.
Это не баг. Это архитектура.
Посмотрим глубже, потому что ловушка уходит дальше одной лишь проблемы обновления.
Замороженная языковая модель не просто отказывается учиться после обучения. Она также существует в принципиально неправильном пространстве: плоской геометрии, в которой нет никакого внутреннего способа различить, какие параметры несут реальную информацию, а какие — лишь шум.
Плоские архитектуры не могут сохранять структурные инварианты, от которых зависит настоящее познание, — те самые, что говорят вам, когда два убеждения действительно близки, а когда лишь кажутся близкими из-за того, что система координат вас обманывает.
И когда замороженная модель выходит в производство, плохая геометрия оказывается зафиксированной навсегда. Вы получаете машину, способную блестяще интерполировать внутри запечатанного статистического ландшафта — но не способную пересмотреть ни одно убеждение в реальном времени, не сломав при этом что-то другое.
Всё ещё сомневаетесь? Тогда посмотрите на трещины, которые уже не гипотетические. В сентябре 2025 года исследователи самой OpenAI опубликовали статью с аргументом: языковые модели галлюцинируют потому, что стандартные процедуры обучения и оценки вознаграждают угадывание вместо признания неопределённости. На бенчмарке PersonQA их самые продвинутые модели показали уровень галлюцинаций в 33% и 48%. Каждый третий ответ — выдуман. У флагманской модели — почти каждый второй.
Это не косметический баг, мерцающий на краю в целом здоровой системы. Это структурный сбой. Модель оптимизирована на то, чтобы продолжать давать ответы — а не на то, чтобы глубоко представлять границу между тем, что она знает, и тем, чего не знает.
Но именно эта граница и есть то, от чего зависит настоящее рассуждение в условиях неопределённости. А неопределённость требует кривизны. Которую плоские архитектуры выбрасывают ещё до начала обучения.
Новые компании-убийцы используют именно ту метрику, которая возвращает эту кривизну: метрику Фишера.
Посмотрите на красную линию в анимации выше. Именно так действует каждая большая языковая модель при обучении: плоский евклидов градиентный спуск, относящийся ко всем направлениям в пространстве параметров как равнозначным — как прокладывание курса из Вены в Токио по плоской карте. Куда-нибудь вы точно прилетите. Только не в Токио.
Метрика Фишера говорит вам: карта изогнута. Одни направления высокоинформативны, другие — инертны. Сюн-ити Амари формализовал это в 1990-х годах естественным градиентом: F⁻¹∇L. Одна операция, превращающая плоский шаг в шаг, следующий за поверхностью. Зелёный путь — именно так это выглядит. Красный путь — именно то, что выпускает в мир вся индустрия.
Почему? Потому что матрица информации Фишера для модели с 70 миллиардами параметров содержит 4,9 × 10²¹ элементов. Её невозможно реалистично вычислить, хранить или обратить. И крупные игроки выбрали масштаб вместо геометрии. Они — как красная линия в анимации: становятся длиннее, становятся быстрее, но по-прежнему указывают не в ту сторону.
И вычисления во время инференса это не исправляют. Они лишь несут вас дальше по той же плоской карте. Вы по-прежнему не ближе к Токио.
Герои новой ИИ-эпохи
Компании, которые форсируют этот переход, уже здесь. Они — тёмные лошадки, пытающиеся вырваться из парадигмы «заморозь и обслуживай». Они относятся к неопределённости, пересмотру убеждений, причинности и структуре как к первоклассным архитектурным объектам — а не как к дополнениям, прикрученным к замороженному генератору.
VERSES AI — ближе всего к полному воплощению идеи. Их движок работает на принципе свободной энергии Карла Фристона — той же математической основе, которую нейронауки используют для описания того, как учатся биологические мозги. Веса не замерзают после обучения. Убеждения обновляются непрерывно во время работы — каждое наблюдение в реальном времени перестраивает апостериорное распределение. Это не приближение к байесовско-фишеровской парадигме. Это и есть парадигма, работающая в производстве. Их модель AXIOM превзошла DreamerV3 от Google DeepMind на 60%, будучи при этом на 97% эффективнее и в 39 раз быстрее. Эта эффективность — не инженерный трюк. Это то, что происходит, когда перестаёшь бороться с геометрией и начинаешь ей следовать.
causalLens строит причинный столп. Причинные графы кодируют вмешательства и контрфактуалы — а не корреляции паттернов. Причинный граф определяет семейство вероятностных распределений, индексированных тем, что вы могли бы сделать, а не только тем, что вы видели — и информация Фишера по этому семейству говорит вам, какие вмешательства действительно важны. Геометрия, применённая к причинности. Их 50 миллионов долларов финансирования, партнёрство с Google Cloud и клиенты вроде Cisco и Scotiabank свидетельствуют: корпоративный рынок уже воспользовался возможностью.
Symbolica AI строит топологический столп. За ними стоят 33 миллиона долларов от Khosla Ventures и команда PhD-математиков и бывших инженеров Tesla, применяющих теорию категорий к машинному обучению. Они стали соавторами статьи с Google DeepMind о категориальном глубоком обучении, закладывающей теоретический фундамент. Теория категорий даёт то, чего не может ни одна нейросеть: композиционные гарантии. Если два модуля по отдельности корректны — их композиция корректна по построению. Там, где метрика Фишера даёт локальную кривизну, теория категорий даёт глобальные структурные инварианты — каркас, обеспечивающий целостность всей системы.
Layer 6 AI — доказательство того, что математика выживает при контакте с реальностью. Приобретённая группой TD Bank и теперь работающая как её центр передового опыта в области ИИ, Layer 6 публикуется на ICML и NeurIPS, обслуживая около 30 миллионов банковских клиентов. Их CausalPFN занимает лучший средний ранг на стандартных бенчмарках причинного инференса, объединяя байесовский причинный вывод с трансформерной амортизацией: необработанные наблюдения на входе, откалиброванные причинные эффекты с встроенными оценками неопределённости на выходе. Это байесовско-фишеровская математика, работающая в институциональном масштабе в одной из самых требовательных областей — финансовых решениях, где ошибка стоит реальных денег.
Microsoft занимает особое положение. Infer.NET уже даёт ему правильное математическое основание, компилируя вероятностные программы непосредственно в алгоритмы инференса, — а облачная инфраструктура позволяет развернуть это в масштабе, недоступном почти никому другому. Сдерживает его не математика, а сложность автоматизации моделей, которые пока слишком создаются вручную, чтобы чисто масштабироваться в производстве. Это серьёзное ограничение — но инженерное, а не концептуальное. Если Microsoft решит действовать, мы все знаем: ему не нужно разворачиваться. Ему нужно выпустить продукт.
Подводя итог
VERSES строит мозг. causalLens строит ответ на вопрос «почему». Symbolica строит структурный каркас. Layer 6 доказывает, что это работает с реальными клиентами и реальными деньгами. Microsoft располагает облаком, чтобы развернуть всё это повсюду.
Никто пока не собрал все части вместе. Но части существуют — и ни одна из них не живёт в плоском пространстве.
Эти пять претендентов обладают одним свойством, которого у OpenAI, Google и Anthropic нет и не может появиться за счёт масштабирования. Их вычисления уже живут на изогнутой поверхности. Четверо из них — тёмные лошадки: небольшие, недофинансированные, математически правые. Пятый — Microsoft, который не тёмная лошадка, а нечто потенциально более опасное: дремлющий гигант с уже построенным правильным фундаментом, ожидающий повода проснуться.
Они не начинали в плоском пространстве и не прикручивали к нему исправления. Они начали в правильной геометрии. Всё, что они строят отсюда, наращивается на математическом основании, которого плоско-пространственные оптимизаторы не достигнут сколько бы GPU ни нагромоздили — потому что проблема никогда не была в вычислениях.
Проблема была в пространстве.
ссылка на оригинал статьи https://habr.com/ru/articles/1024024/