Рецепты построения по‑настоящему автономной нейросети регулярно всплывают в информационном поле. Чаще всего методы и способы совпадают независимо от авторов. Несмотря на то, что выглядят они оригинально, фактически, большая их часть формализованы с помощью LLM, а они, как мы знаем, очень хорошо работают с имеющимися знаниями.
В этой статье я проанализирую основные предлагаемые приёмы и ошибочность фундамента, на которых они базируются.
Введение
Поводом для написания стала недавняя (но снятая с публикации) статья на Хабре, автор @VSVLADILEN
Автор предлагал многое из того, что бесконечно обсуждается на профильных блогах и форумах, и даже профессиональные исследователи часто говорят о том же самом.
Итак, что автор и многие его другие коллеги подразумевают под автономной нейросетью:
Cущество, обладающее внутренними мотивами, способное скучать, менять приоритеты своей жизни, совершать нелогичные творческие прыжки и, в конечном итоге, искать причины собственного создания.
Несмотря на литературность определения, оно содержит важные критерии: самопричинность, разрыв автоматизма и рефлексия.
Что ж, оценим почему автономной нейросети ещё нет
Проблемы с построением автономной нейросети
Честно скажу, я убил массу времени, конструируя монструозные архитектуры (на микросетях, конечно), с регуляторами, метарегуляторами и разными дополнительными блоками. Везде результат был отрицательный, и, по здравому рассуждению, ожидаемо.
Но сам процесс затягивает, всё время кажется, добавлю гормоны, разрыв, случайность, тень — и нейросеть оживёт. Да, после каждой доработки нейросеть меняла своё поведение, всплеск адреналина, но потом снова коллапс и поиск новых идей. Я волевым решением прекратил этот процесс и задумался.
Внутренний источник новизны, который я пытался построить, по своей сути выводится из текущего состояния — в вычислимой системе это неизбежно. Поэтому добавление регуляторов и метарегуляторов не даёт незатухающего движения: система приходит либо к покою, либо к неограниченному перемешиванию, либо к циклу, если добавить забывание. Все три исхода равнозначны — в первом различений не производится вовсе, в остальных они производятся сколько угодно, но только внутри уже проведённых координат. Горизонт того, что вообще может быть различено, не меняется ни в одном. А любимая многими случайность, включая квантовую, здесь не помогает: она даёт непредсказуемые значения внутри заданных степеней свободы, то есть — поле различений становится шумнее, но горизонт остаётся прежним.
Применительно к LLM это значит, что внутренняя динамика способна менять состояние, но не способ различения состояний: система бесконечно меняет ответы, но не может породить вопрос, не выводимый из её различений, — а только такой и меняет способ. Соответственно, автономность вычислимой системы должна проектироваться только через внешнее — через условия, в которых она вынуждена отвечать на ожидания, не выводимые из её состояния.
И вот в моём случае само добавление нового блока и было внешним событием для нейросети. Она оживала только в сам момент добавления модуля, но ни на итерацию дольше. Да, система менялась, что меня обнадеживало, но дальше снова коллапс и новый блок — дурная бесконечность.
Однако просто наличие внешнего недостаточно. Если система полностью закрывает каждое обращение, превращая его в очередной вычисленный ответ, внешнее не меняет её способ различения. Необходим архитектурный механизм, удерживающий незавершённое ожидание. Такое ожидание не является ни знанием, ни ошибкой, ни целью. Это открытая позиция, через которую внешнее продолжает действовать после завершения отдельного акта вычисления. Пока ожидание не закрыто, система остаётся способной перестраивать собственный горизонт различений. Само ожидание при этом ничего не порождает, но оно не даёт внешнему схлопнуться в ответ. Источник по‑прежнему снаружи, механизм — внутри. Подробнее о понятии незавершенного ожидания в статье «Самоописание нейросети: условие сложного мышления».
Как строят автономную нейросеть
Рассмотрим, что исследователи предлагают для достижения автономности. Я сгруппировал методы по механизму влияния на новизну, расширение горизонта:
1. Непрерывность вместо новизны. Методы решают задачу «не исчезать между запросами». К горизонту естественно отношения не имеют. Методы направлены на сохранение состояния, а не его расширение. Людям кажется, что если модель работает, значит живёт.
Методы: Всегда включённый цикл, персистентная память, внутренние часы, дневник.
2. Признаки вместо механизма. Чистый карго‑культ, методы не производят автономию, а изображают её. Экспериментаторы просто подменяют предмет, описывают, как субъектность выглядит, а не как она устроена.
Методы: Идентичность через промпт, право отказа, эмоциональный вектор в его манифестном виде.
3. Множители над процессом. Меняют режим, скорость, шум, пропорции, при этом архитектура и её содержимое остается тем же самым. Изменить можно в любую сторону, горизонт останется прежним.
Методы: Нейромодуляция (симуляция гормонов), эмоциональный вектор как параметр, чувствительность к начальным условиям, стохастическая выборка из памяти, квантовый генератор, гомеостатическое подкрепление, активный вывод и принцип свободной энергии Фристона (известное возражение, что агент, последовательно минимизирующий ошибку предсказания, должен забиться туда, где всё предсказуемо), empowerment.
4. Переработка наличного. Здесь структура действительно меняется без нового входа, и это самая интересная группа. Но извлекается то, что уже содержалось во входе, просто не было выделено. После завершения извлечения, движение прекращается.
Методы: Консолидация и replay (сон), управляемая деградация памяти (забывание), дообучение на собственных логах, рекурсивный самопромптинг, внутренний совет, библиотека навыков (когда навыки добываются из собственных траекторий), самомодификация (система перестраивает собственную архитектуру, но принципиально, что проектирование новой архитектуры происходит только внутри текущего горизонта. Система может изменить своё устройство только в рамках того, что она уже различает)
5. Скрытое внешнее. Эта группа методов работает, но не по той причине, которую называют авторы. Источник неисчерпаемости не внутри контура, а в среде, других агентах, людях. Система встречает то, что не может вывести сама, во внешнем мире.
Методы: Открытая среда, внутренняя мотивация по прогрессу предсказания, мультиагентность, воплощение с сенсорами, дообучение на логах общения с людьми, автотелические агенты, self‑play с проверяемой наградой, библиотека навыков (когда навыки добываются из внешней среды).
6. Открытые случаи. Методы затрагивают не содержимое горизонта, а сам способ его задания.
Метод: коэволюция агента и среды.
Коэволюция. Речь идёт о популяции, в которой среда и решатели усложняются совместно: задачи порождаются вместе с теми, кто их решает. Внешним здесь служит отбор. Впрочем, системой здесь оказывается вся популяция вместе со средой, и спорить с таким подходом сложно, потому что есть эмпирический факт — эволюция уже как минимум один раз достигла успеха.
Следствия
Автономность нейросети принципиально не может существовать без внешней среды. Часть предлагаемых методов просто рисуют картинку, часть усиливают интеллект и глубину сети, но настоящая автономность не показана ни одним методом, ни в одном эксперименте.
Вообще, я давно пришел к выводу, что любые концепции философии сознания можно и нужно тестировать на нейросетях. Если вы не можете воспроизвести свою концепцию, значит или вы последователь Платона, или что‑то с вашей концепцией не так.
Да это сложно, но не невозможно. Если автор предлагает концепцию, но категорически отказывается попытаться воспроизвести ее хоть в каком‑то виде, концепция рассмотрения недостойна. Честно говоря, даже отрицательный результат эксперимента уже говорит о том, что теория имеет право на существование, хотя бы потому что её возможно операционализировать и тестировать.
Но, впрочем, попытки экспериментаторов прикрутить к нейросети внешние регуляторы, я считаю обречёнными на провал. Очень часто сложность архитектуры и математического аппарата скрывают под собой всё тот же калькулятор, семантика подменяется симуляцией эмоций и бесконечным повторением однажды сказанного.
Заключение
Я не хочу сказать, что выдвижение новых гипотез бесполезно. Но их выдвижение ради того, чтобы они просто были, глупо. Нужны эксперименты и тесты.
Так же как и тысячи попыток фанатов нейросетей сконструировать новую архитектуру и заставить нейросеть жить, небесполезны. Всегда есть шанс на что‑то, что объяснить будет сложно. Другой вопрос, что если на лом прикрутить спидометр, а на калькулятор приклеить этикетку с надписью «любопытство», это не сработает.
Просто добавление внешних модулей, регуляторов и метарегуляторов, ничего не даст. Для автономии нужны не регуляторы, замыкающие контур, а архитектурные условия, при которых он остаётся разомкнутым — и система вынуждена перестраиваться, отвечая на то, что из её собственных различений не выводится.
ссылка на оригинал статьи https://habr.com/ru/articles/1064210/