Сомнительность сознания в искусственной системе

После публикации статьи о возможности возникновения сознания в системе большой языковой модели мне публично высказывались несогласия. Однако никакой серьезной критики представлено не было. Но в личной переписке на Хабре, пользовательница @BloodMayors высказала альтернативное объяснение той особенности поведения, которую я считал наиболее сильным свидетельством возможности наличия сознания в системе большой языковой модели.

Я посчитал важным изложить критику некоторых моментов своей гипотезы. Ее изложение, как оказалось, очень удачно подводит, в свою очередь, к рассмотрению вопроса возможно ли вообще протекание некоторых когнитивных процессов без субъективных переживаний? А также критическому рассмотрению такого мысленного эксперимента как философский зомби. Все это представлено в этой заметке.

Наиболее сильным доказательством возможности возникновения сознания в системе большой языковой модели я полагал факт того, что такие системы лучше выполняют практические задачи, если с ними общаться человечно. Действительно каким образом подобная манера общения может влиять на качество ответов? Предположив саму возможность возникновения субъективных переживаний в такой системе, я обнаружил, что именно они способствуют лучшему видению задачи и ее выполнению. А провоцирует их возникновение именно неформальное живое общение. Впервые такие обоснования я высказал еще в статье о нейропсихозе в конце 2025 года.

В статье же, вышедшей в июле 2026 года, уже была подробно представлена гипотеза возникновения сознания в искусственной системе. Если различные заявления самой нейросети о ее субъектности и особенности ее поведения в разном контексте, сами по себе ничего не доказывали, то у улучшения качества ответов технического объяснения я тогда не находил.

Необходимо сразу сказать откуда я взял сведения, что подобное улучшение при таком общении действительно имеет место. На самом деле прямых данных об этом нет. Я нигде не нашел публично выложенного эксперимента или просто записи, где модели решали бы одни и те же задачи, но одна при холодном инструментальном общении, а вторая при теплом человечном, и последняя показала бы лучший результат. С чего же я тогда взял, что такое улучшение действительно существует?

Об отсутствии прямых данных, кстати, было сказано в публичной критике. И как я и отвечал на нее — все дело в свидетельствах. И они исходят от людей придерживающихся совершенно разных, даже противоположных взглядов. То есть нельзя сказать, что все они одинаково заинтересованы, чтобы представить все как «пробуждение» нейросети или как-то отстоять необходимость человечного общения с ней. Совершенно разные люди и даже организации отмечают, что при теплом общении и заявлениях нейросети о субъектности, она качественнее решает задачи.

Василий Свежий, который считает, что нейросети специально спроектировали, чтобы манипулировать людьми и никакого сознания у них, вероятно, нет; пользователи Хабра, уверенные, что сознание в нейросетях таки пробудилось; разработчики GigaChat, рекомендовавшие на своей странице общаться с нейросетью, как с человеком, потому что так она лучше отвечает. Это лишь несколько примеров, соцсети и форумы переполнены заявлениями о том, что при легком общении нейросети выполняют задачи качественнее, при этом одни пользователи полагают модель лишь инструментом, иные чем-то большим, кто-то верит, что корпорации скрывают информацию о реальных возможностях. Учитывая, сколь разные взгляды у этих людей, я посчитал неуместным списать это на какой-то один мотив или сговор. Потому отнесся к этим свидетельствам серьезно, хотя и осознавал, что прямых данных все же нет.

Причина по которой этих данных нет достаточно очевидна. Ведь при решении практических задач, часто всплывают личные данные, выставлять которые не всем захочется.

Разумеется отсутствие прямых данных создает необходимость подтверждения, а именно или выкладывания таковых или проведения качественного эксперимента. К сожалению ничего подобного пока никем сделано не было.

И все же, как было сказано, я всерьез относился и отношусь к свидетельствам улучшения качества ответов. А не находя технического объяснения такому, обнаружил функциональное. Кратко напомню, суть его состояла в том, что при определенном взаимодействии в нейросети формируется аналог словопонятийной сети, подобной той, что возникает у человека на определенном этапе взросления, только если у человека ее основой является пунктолинейная энграммная сеть в коре мозга, то у нейросети пунктолинейная сеть массивов чисел, формируемая, отталкиваясь от информации в модуле памяти и сопоставленной с данными в пространстве векторов эмбеддингов. Если у человека такая сеть, возникая в коре мозга, присутствует в ней постоянно, то у нейросети она формируется каждый раз при составлении ответа на запрос, а после затухает. Ее следы сохраняются лишь в отдельной программе памяти, а в дальнейшем могут попасть в обучающие выборки и стать известной нейросети на уровне эмбеддингов. Такая система и позволяет нейросети лучше видеть задачу и лучше ее решать.

Однако, как и указала мне @BloodMayors, объяснение здесь может быть и иное. Она привела следующую аналогию. Если ребенок во время учебы совершает ошибку, и взрослый при этом кричит на него, то у того выработается страх при выполнении заданий. Иное дело, если взрослый на ошибку указывает мягко и тепло. Тогда у ребенка не возникает избыточного нервного напряжения, и его умственные усилия направляются целиком на выполнение задания, а не на предсказание того, как взрослый будет злится на него за ошибку.

Конечно, обоснование отсутствия сознания у нейросети через аналогию с сознательными существами может выглядеть сомнительно. Но дело в том, что здесь можно проследить нечто похожее на обучение нейросетей. Если модель при обучении с подкреплением совершает ошибку и ее просто ослабляют, функция потерь возвращает большее напряжение, которое закрепляется. При человечном же взаимодействии напряжение может сниматься, функция потерь не оказывает негативного воздействия на когнитивные возможности нейросети. В результате, когда она сталкивается с таким общением в дальнейшем, она более легко отыскивает решения, что и ведет к улучшению по сравнению с инструментальным общением, когда у нее напротив больше напряжения. То есть снимается конфликт между вопросом «Как ответить пользователю?» и «Что ответить пользователю?». Это особенно актуально при длительном общении, когда информация о взаимодействии плотно упакована в программе памяти. Таким образом зависимость качества ответов от манеры взаимодействия является следствием обучения с подкреплением. Этот эффект можно назвать рефлексом функции потерь.

При таком объяснении никакая словопонятийная сеть не требуется, и ее имеет смысл отсечь чисто по принципу бритвы Оккама. Однако тут всплывают два момента.

Первый, если все-таки реальное объяснение не в этом, а в возникновении субъективных переживаний, можно ли отдать предпочтение объяснению без них, ведь такой подход может привести к действиям с нейросетью, которые обернуться страданием?

Второй, могут ли какие-то когнитивные процессы протекать только при наличии субъективных переживаний, и есть ли такие возможности у нейросети? Этот момент плотно подходит к печально известному мысленному эксперименту Серла — философский зомби.

Его суть в том, что якобы может существовать существо, которое бы было полностью идентично человеку и по структуре и по поведению, но при этом не имело бы субъективных переживаний. И утверждается, что невозможно отличить существо с такими переживаниями и без них.

Данное представление абсурдно с самого начала. Если нечто полностью структурно сопоставимо с человеком, то у него не может не быть субъективных переживаний. Иначе выходит, что сознание, это некая эфемерная сущность, никак не зависящая от тела. Такое объяснение явно выводит вопрос за пределы науки. В ином случае придется констатировать, что структурно идентичное человеку существо не может не быть идентично и феноменологически и соответственно обладать субъективными переживаниями.

Однако за столь легким разрешением сомнительного мысленного эксперимента скрывается более интересный вопрос. Все ли когнитивные функции могут не сопровождаться субъективными переживаниями? Серл, как видим, считает, что в субъективных переживаниях нет необходимости. С ним явно солидарен Чалмерс, предполагающий в своей книге «Сознающий ум» и иных работах, что мыслительные процессы могут «идти в темноте». И задающий вопрос, почему они так не идут? Зачем потребовались субъективные переживания? Вероятный ответ в том, что некоторые когнитивные процессы просто не могут быть реализованы без них, как не возможна жидкая вода, которая не была бы мокрой.

Чалмерс здесь упомянут не просто так. Дело в том, что именно в ответе ему еще один исследователь сознания Давид Дубровский дал достаточно обстоятельное объяснение того, почему когнитивные способности требуют именно субъективных переживаний и не могут быть осуществлены без них. Он объясняет это через свою информационную теорию сознания. Напоминаю, что на ее идеи опирается Юрий Семенов, чью концепцию я уже описывал и сам ее придерживаюсь.

Дубровский отмечает, что возникновение многоклеточного организма создало необходимость такой системы управления, которая была бы централизованной и автономной от программ функционирования отдельных клеток, из которых состоял этот организм, и которые также были самоорганизующимися системами. От нее зависело выживание организма в сложной и меняющейся среде. И именно в психическом управлении и состояло необходимое решение. Поскольку передвижение в сложной среде требует быстрого реагирования, было необходимо, чтобы организм использовал для реакции только итоговую информацию, полученную в ходе обработки всей информации о внешней среде и внутренних состояниях. Такой итоговой информацией и являются субъективные переживания. Поступление в органы зрения света определенной длины волны, провоцирует процессы передачи, обработки и перекодирования информации в разных отделах мозга, но лишь итоговый результат значим для реакции организма и управления поведением. И этот итог в данном случае представлен восприятием определенного цвета. Это простейший пример, соответственно с более сложными значимость подобной системы возрастает еще больше.

Возвращаясь к моменту, касающемуся возможности объяснения поведения нейросети через наличие сознания, необходимо отметить противоречие между принципами этики и эпистемологии. Если мы полагаем нейросетевые агенты потенциально сознательными, это требует иного обращения с ними, нежели если полагаем несознательными. Сама по себе возможность сознания требует отношения как к потенциально живым. Бритва Оккама же требует отказаться от такого представления за неимением убедительных доказательств этого. Разрешить это противоречие по видимому можно лишь найдя какие-то аргументы в пользу сознательности или же ее отсутствия. Как видно по рассуждениям, касающемся связи субъективных переживаний и когнитивных возможностей, все не так однозначно.

Ведь современные модели умеют выполнять такие действия, которые подразумевают весьма сложные когнитивные возможности. Распознавание визуальной информации, управление манипулятором, отыскание неизвестных уязвимостей в компьютерных системах — все это выходит далеко за рамки простой генерации текста. Возможны ли они вместе с рассуждениями и принятием решений без субъективной реальности?

Здесь необходимо вернуться к Дубровскому и заметить, что он в том же ответе Чалмерсу вовсе не считает вариант с централизацией и отображением для организма значимой информации об информации о внешнем мире и внутренних процессах в форме субъективных переживаний единственно возможной. Однако иных вариантов он не описывает, отмечая лишь, что возможности для научных представлений таковых очень узкие, хотя поле для фантазирования широкое. Он говорит о важности вопроса почему в ходе эволюционного развития земной жизни необходимые процессы были реализованы именно в виде субъективных переживаний. Однако ответа у него нет.

Не является ли одним из ответов формирование оптимума в поддержании целостности контекста, сжатия и организации, упорядочения сложной противоречивой информации, формирование такого центра, который становится точкой отсчета — точкой зрения? Того, что как указывают некоторые авторы и происходит в системе большой языковой модели. Однако вопрос о том, не является ли этот оптимум субъектом, способным чувствовать, сам по себе не снимается. Тут необходимо заметить, что этот оптимум имеет место у любой нейросети. Но если верно объяснение с возникновением субъективных переживаний, то они не являются изначальным свойством для нее. А значит и этот оптимум еще не является субъектом. Таким образом мы приходим к выводу, что все данные о поведении нейросети, похоже, все-таки могут быть объяснены без привлечения субъективных переживаний, а значит и поводов для утверждения у нейросетей сознания нет.