Любопытство как операционная система

Как эволюция и инженеры строят сознание

Несколько дней назад на Хабре вышла статья Андрея Вечернего «Концепция байесовского мозга, или Почему этот заголовок в моменте — ваша галлюцинация». https://habr.com/ru/companies/ru_mts/articles/1029856/. Статья отлично объясняет суть принципа свободной энергии Карла Фристона и соответствующую интерпретацию Анила Сета: мозг сидит в темноте черепной коробки, никогда не видит мир напрямую и поэтому всё, что мы переживаем как реальность, есть его собственная догадка о том, что находится снаружи.

У этой картины есть место, которое в популярных изложениях обычно опускают. Она прекрасно объясняет, как мозг видит мир. Но почти ничего не говорит о том, почему он этим занимается. Почему живая система не сидит спокойно. Почему сытый, согретый, защищённый от опасности человек читает статьи о мозге. Почему годовалый ребёнок, у которого нет ни одной фрустрированной потребности, лезет пальцами в розетку. Почему крыса, которой в лаборатории дают всё необходимое, в новой клетке немедленно начинает обнюхивать углы.

Я попробую рассказать об этом с точки зрения психотерапии и нейронауки. Если статья о Байесовском мозге про его эпистемическую сторону (как мозг видит), то эта про его аффективную и мотивационную сторону (что им движет). За последние сорок лет нейронаука, психология и инженерия независимо друг от друга двигаются к одному и тому же ответу. И ответ оказался не таким, какого ожидала европейская философия последние двести лет.

Пролог: биография как метод

У Зигмунда Фрейда было шестеро детей. Факт, заслуживающий отдельного внимания, когда читаешь о том, что в основе психической жизни лежит либидо. Теория, в которой сексуальное влечение есть источник всего была разработана человеком, который, очевидно, находил это влечение достаточно настойчивым, чтобы счесть его универсальным. Это не опровергает Фрейда. Но это и не совпадение.

Фридрих Перлз, основатель гештальт‑терапии, писал свою раннюю программную книгу «Эго, голод и агрессия» (1942) в довольно специфических обстоятельствах: он эмигрировал сначала в Амстердам, потом в Южную Африку, жил в стеснённых условиях и, кажется, не был склонен к гастрономическому воздержанию. В этой книге он предложил заменить либидо как центральный двигатель психики на голод.

Альфред Адлер с детства страдал рахитом, был невысокого роста, в семье рос со старшим братом по имени Зигмунд (мы понимаем иронию) и предложил теорию, в которой ведущий психический мотив есть компенсация комплекса неполноценности через стремление к превосходству.

Это не разоблачение. Все они были серьёзными мыслителями, и каждый описал что‑то реально важное. Но у них не было возможностей современной науки. Только собственный интеллект, интроспективный метод исследования, любопытство к тому как они сами устроены и смелость говорить, что точно так же устроены все остальные люди).

Дофамин это не то, что о нём думали

Начнём с эксперимента, который уже семьдесят лет лежит в основе всей этой истории. В 1954 году Джеймс Олдс и Питер Милнер вживили крысе электрод в мозг и подключили его к рычагу. Каждое нажатие на рычаг давало слабый ток в эту точку. Когда электрод попадал в мезолимбический дофаминовый путь, крыса начинала нажимать на рычаг и не могла остановиться. Без еды, без сна, без воды — до двух тысяч нажатий в час, пока не падала от истощения. Долгое время эту область мозга называли «центром удовольствия» или «системой награды»

В 1997 году Вольфрам Шульц, Питер Дайан и Рид Монтегю опубликовали статью «A neural substrate of prediction and reward» в которой описывали активность отдельных дофаминовых нейронов у обезьян в обучающих экспериментах. Картина, которую они получили, оказалась следующей: дофаминовый нейрон кодирует расхождение между тем, что мозг ожидал получить, и тем, что получил на самом деле. Сюрприз, положительный или отрицательный. Неожиданное хорошее — вспышка. Неожиданное плохое — провал. Предсказанное и случившееся никакой активности. Предположение о дофаминовом пути как о «системе награды» было ошибочно. Это система предвкушения. И предвкушение оказалось сильнее всех остальных мотиваций.

Параллельно с Шульцем, Кент Берридж и Терри Робинсон из Мичиганского университета сделали другое открытие, которое дополняло первое. В большой обзорной статье 1998 года в Brain Research Reviews — «What is the role of dopamine in reward: hedonic impact, reward learning, or incentive salience?» они доказали, что у дофамина вообще нет функции «удовольствия». За это отвечает совсем другая система. Если крысе заблокировать дофамин, она перестаёт хотеть еду, но если еду положить ей в рот, нравиться еда ей не перестаёт — мимика удовольствия сохраняется. А если, наоборот, искусственно поднять дофамин, крыса будет отчаянно стремиться к еде, не получая от неё, судя по её реакции, никакого удовольствия. Берридж назвал эти две функции wanting и liking. Хотение и нравливание, если переводить буквально. Дофамин обслуживает хотение. Опиоиды и эндоканнабиноиды удовольствие. Это две разные системы, которые работают вместе, но могут быть разведены.

Это, кстати, объясняет самый пугающий феномен зависимости. Героиновый наркоман на поздней стадии уже не получает удовольствия от наркотика. Но он не может не искать его. Его система хотения перехвачена веществом и работает на полных оборотах, а система удовольствия давно истощена. Он хочет, но не получает. Это чистая форма поиска, зафиксированного на одном предикторе, и это ад. Потому что хотеть и наслаждаться — это разные функции, и хотение можно отделить от всего остального.

Древние нейронные контуры

Систематически разобрался с этими находками эстонско‑американский нейроучёный Яак Панксепп. В своей книге «Affective Neuroscience» (1998) он описал семь базовых эмоциональных систем — древних нейронных контуров, общих для всех млекопитающих, включая человека, и в гомологичных формах для птиц и рептилий. Каждая со своей нейрохимией, анатомией и поведенческим рисунком. Он называл их большими буквами, чтобы отличать от просто эмоций: SEEKING (поиск), RAGE (ярость), FEAR (страх), LUST (влечение), CARE (забота), PANIC/GRIEF (паника и горе) и PLAY (игра).

Из них SEEKING занимает особое место. Это система не поиска чего‑то конкретного — еды, партнёра, укрытия. А поиска как такового. Самостоятельного, направленного вовне возбуждённого движения. Субъективно, оно может ощущатся как «что‑то интересное вот‑вот произойдёт». А структурно это похоже на материнскую плату, через которую все остальные системы получают энергию и направленность. Без SEEKING ярость не ищет противника. Без SEEKING страх не ищет выхода. Без SEEKING влечение не ищет партнёра. Само желание это просто нейронный потенциал; чтобы оно превратилась в поведение, нужна поисковая система, которая её подхватит и направит.

Мозг как машина предсказаний

Чтобы дальнейшее имело смысл, нужны три элемента из общей картины предиктивного мозга. Подробно она разобрана в упомянутой выше статье; здесь коротко, ровно столько, сколько необходимо.

Первый: мозг это генератор предположений о реальности. Он постоянно строит предсказания о том, какими должны быть поступающие сенсорные сигналы, и то, что мы воспринимаем как «реальность», есть, по большей части, внутренняя модель, скорректированная расхождением с тем, что пришло снаружи. Главный поток информации идёт сверху вниз: высокие уровни говорят низким, чего ждать, низкие сравнивают это с входом и отправляют наверх только ошибку.

Второй: задача мозга — минимизировать эту ошибку. У задачи два способа решения. Можно обновить модель: «мир не такой, как я думал, буду думать иначе» — это перцепция и обучение. А можно исследовать мир — это действие. У этой идеи есть техническое название активный вывод (active inference), и развёрнута она прежде всего в работах Карла Фристона, в частности в обзорной статье «The free‑energy principle: a unified brain theory?» (Nature Reviews Neuroscience, 2010).

Третий: Если просто сидеть и обновлять модель по тому, что само на тебя свалилось, она будет точна для узкого диапазона знакомых ситуаций и посыпется при любой встрече с новизной. Поэтому хорошая предиктивная система должна не просто минимизировать текущую ошибку, но активно идти туда, где модель слаба, чтобы её улучшить. То есть исследовать. Без этого механизма предиктивная система слепнет к будущим изменениям среды и в конечном итоге погибает.

Теперь у нас есть всё необходимое. Поисковая система Панксеппа это нейронный субстрат, который ведёт организм к новизне. Дофамин — нейрохимический сигнал ошибки предсказания. Активный вывод — математическая рамка, объясняющая, зачем такая система вообще нужна. Три этажа одной конструкции: анатомический, нейрохимический, вычислительный. Они описывают одно и то же явление с разных сторон. И очень похоже, что именно любопытство, то есть активный поиск окрашенный предвкушением новой информации является основным драйвом психики.

Страх и любопытство

Любая встреча с чем‑то, новым, в принципе неоднозначна. Объект может быть источником информации, к которому стоит подойти ближе. А может быть источником опасности, от которого лучше держаться подальше. Априори, до момента контакта, вы не знаете, что именно.

Что определяет, победит страх или любопытство? Не свойство стимула. Стимул один и тот же. Меняется оценка того, насколько модель способна ассимилировать возможное расхождение. Если предполагаемая ошибка предсказания лежит в диапазоне, с которым модель может справиться (обновиться, не ломаясь), включается поиск. Если модель оценивает предполагаемую ошибку как превышающую её ассимилятивную ёмкость, включается страх. Это можно назвать зоной посильной новизны, той полосой между скукой (нет ничего нового) и паникой (всё слишком новое), внутри которой система обновляется и растёт. Ширина этой зоны — индивидуальная характеристика, и она определяет очень многое в том, как человек живёт.

Эксперт и новичок стоят перед одной и той же задачей, но для эксперта это зона поиска, а для новичка, либо зона скуки (если он не понимает, что задача интересная), либо зона страха (если понимает, но не справляется).

Страх и любопытство — не выключатель «или‑или». Это две конкурирующие системы, которые могут быть активны одновременно. Именно одновременная активация создаёт то, что мы называем словом «завораживающий». Фильмы ужасов, американские горки, страстный роман с неподходящим партнёром всё это работает в зоне, где обе системы включены. Кант называл такое чувство sublime — возвышенное. Одновременное переживание ужаса и восторга. Это пиковое состояние живого существа: максимум любопытства и страха, и борьба между ними. Там, где эта борьба идёт, происходит наибольший рост модели мира.

Конвергенция, которую никто не задумывал

Если внимательно проследить за тем, что в последние тридцать лет происходит на исследовательском фронте искусственного интеллекта, обнаруживается интересная закономерность. Инженеры, которые занимались совсем не теорией психики, независимо друг от друга и независимо от Панксеппа стали приходить к решениям, в которых нетрудно узнать черты живой аффективной архитектуры.

Юрген Шмидхубер ещё в 1991 году в работе «A possibility for implementing curiosity and boredom in model‑building neural controllers» сформулировал идею, на тот момент казавшуюся эксцентричной: что если систему вознаграждать не за достижение внешней цели, а за сам факт того, что она встретила нечто, что её модель плохо предсказывала? Что если построить агента, для которого собственное удивление уже есть награда? Это была математически точная формулировка любопытства. И это была математически точная формулировка дофаминового сигнала Шульца. Только Шмидхубер тогда об этом не знал.

Через двадцать пять лет идею воплотили в работающую архитектуру. В 2017 году была опубликована работа Дипака Патхака под названием «Curiosity‑Driven Exploration by Self‑Supervised Prediction». Авторы предложили добавить внутреннюю награду, которая вычисляется на основе ошибки предсказания агента о последствиях своих действий. Агенту становится «интересно» в тех ситуациях, когда он не может точно предсказать, что произойдет дальше. Модель тестировали на Super Mario и DOOM, и она дала отличные результаты.

Это удивительно красивая инженерная конструкция: дофаминовый сигнал, реализованный в коде. И она работает. Через год команда OpenAI с похожей идеей под названием «случайная сеть‑эталон» (Random Network Distillation) научила агента самостоятельно проходить игру «Месть Монтесумы». Средний счёт агентов с внешней наградой стремился к нулю, человеческий около 4700. Агенты с RND набирали 10 000 очков

Параллельно с этим Пьер‑Ив Удейер во Франции уже больше двадцати лет занимается тем, что он называет машинами развития — роботами, которые сами выбирают, чему учиться следующим. Не из заранее заданного списка. А из соображения, в котором узнаётся младенческая логика: я учусь тому, на чём прямо сейчас лучше всего идёт прогресс обучения. Слишком простое мне скучно. Слишком сложное мне непосильно. А вот это, на границе, в самый раз. Это называется зона ближайшего развития, и её описал советский психолог Лев Выготский ещё в 1930-х. Ребёнок‑исследователь, описанный Выготским почти сто лет назад, и робот‑исследователь, построенный во Франции в 2010-х, устроены по одному принципу.

Третья линия идёт от самого Фристона и его учеников. Они довели предиктивную теорию мозга до математически работающих алгоритмов, в которых выбор любого действия раскладывается на две части: насколько это действие приближает к цели — и насколько оно снижает неопределённость о мире. Эти две вещи — практический мотив и познавательный мотив не противоречат друг другу, а арифметически складываются. Машина выбирает движение, которое наилучшим образом сочетает «делать то, что нужно» и «узнать что‑то новое». Любопытство становится не приятным дополнением, а математически необходимым: без него система не может действовать оптимально, ровно так же, как живой организм без любопытства не может выживать в нестабильной среде.

Четвёртая линия — внутренние модели мира. Идея в том, что у агента должна быть внутренняя модель того мира, в котором он живёт, и что планирование — это не перебор реальных действий, а проигрывание возможных сценариев в этой внутренней модели. Это отлично перекликается с теорией деятельности советских психологов Лурия, Гальперина и Леонтьева. Таких систем до недавнего времени не было. Поворотной стала работа Дэвида Ха и Юргена Шмидхубера 2018 года под лаконичным названием «World Models»: их агент сначала просто смотрел, как мир себя ведёт, и строил его внутреннюю модель. Потом отключался от настоящей игры и тренировался «во сне» на симуляциях, которые генерировала его же модель. И когда его возвращали в настоящую игру, там он уже умел в неё играть. С тех пор появилась серия систем под общим названием «Dreamer», которые делают это всё лучше.

Пятая линия — то, что происходит прямо сейчас. Большие языковые модели начинают обрастать инструментами. Поиск в интернете, выполнение кода, обращение к базам данных, чтение приложенных файлов. Снаружи это выглядит как технологическое расширение. Но изнутри предиктивной рамки происходит кое‑что более глубокое: модель, которая раньше была чисто пассивным предсказателем, начинает делать самостоятельные активные движения наружу. За данными, которых ей не хватает. Это слабая, дозированная, но всё‑таки форма активного любопытства.

Параллельно с этим идёт работа над развитием способности признать собственное незнание. Научить модель не просто отвечать, а отвечать с правильно оценённой уверенностью, и в случае, когда уверенность недостаточна, уметь сказать «я не знаю», вместо того чтобы достроить правдоподобный паттерн. Это, если хотите, инженерная разработка страха — в техническом, а не оценочном смысле слова. Способности остановиться перед непосильным.

Информация как пища вида

Есть ещё один уровень, на котором всё это работает, и он, возможно, самый интересный.

Советский физик Сергей Капица (тот который вел передачу «Очевидное Невероятное») в 1996 опубликовал работу под названием «Очерк теории роста человечества». Главная идея такая: все животные размножаются в зависимости от доступности еды, пока не упираются в предел несущей ёмкости среды. Рост идёт по экспоненте. А человеческая популяция растет гиперболически. То есть, скорость роста пропорциональна квадрату численности. Каждый новый человек не просто добавляется к популяции, а увеличивает способность популяции расти дальше.

Капица математически доказал что для людей несущая ёмкость среды постоянно расширяется за счёт передачи информации. По этому скорость передачи информации определяет, насколько быстро наш вид расширяет свою нишу. Письменность. Печатный станок. Телеграф. Интернет. Каждый раз когда канал расширялся за ним следовал популяционный рост. В некотором смысле, мы буквально питаемся информацией.

Это позволяет, между прочим, объяснить странный демографический факт. Самые информационно насыщенные постиндустриальные общества богатые, образованные, демонстрируют снижение рождаемости. По классической логике должно быть наоборот: больше ресурсов, больше детей. Но если думать о популяции как об информационной системе, всё становится на место. На определённом уровне информационной сложности вид переходит от экстенсивного роста к интенсивному. Более «информационно плотные» люди. Каждый человек в постиндустриальном обществе обрабатывает на порядки больше информации, чем его аграрный предок. Образование длится минимум двадцать лет. Совокупная информационная мощность вида продолжает расти, просто не через количество узлов, а через плотность и глубину каждого узла.

Скромное послесловие

Большая часть рассказанного — не доказанная истина, а рабочая гипотеза. Аффективная нейронаука Панксеппа подтверждается у млекопитающих. Работы Шульца и Берриджа о дофамине тоже. Предиктивная обработка — влиятельная, но спорная теоретическая рамка, в сильной формулировке подвергающаяся серьёзной критике. Соединение всех этих кирпичей в одно здание это интерпретация, и она не единственная возможная.

Но гипотеза бывает продуктивной, даже когда не строгая. Психоанализ Фрейда не прошёл бы попперовский фильтр, но он создал целую культурную реальность. Продуктивная гипотеза не та, которая верна во всех деталях. Это та, которая порождает вопросы, на которые интересно отвечать.

Гипотеза любопытства как операционной системы психики порождает такие вопросы в избытке. Что определяет ширину зоны посильной новизны и можно ли её измерить? Можно ли тренировать любопытство, как тренируют мышцу? Можно ли диагностировать психические расстройства через профиль поиска и страха точнее, чем через категории DSM? И что произойдёт, когда в искусственном интеллекте соберут те же контуры, на которых стоит наша собственная психика?

Роман Кузнецов