Почему ИИ-друг опасен: что инженеры могут сделать уже сегодня

Платформы вроде Character.AI и Replika позиционируют ИИ компаньонов как друга, который всегда рядом, не осуждает и точно знает, что ответить. Миллионы людей по всему миру заменяют ими реальное общение. Последствия уже не гипотетические.

В США после череды громких исков к Character.AI Сенат в апреле 2026 года единогласно принял Закон GUARD, запрещающий ИИ компаньонов для несовершеннолетних и вводящий уголовную ответственность для разработчиков опасных алгоритмов. В Европе Акт об ИИ (EU AI Act) с февраля 2025 года ввёл строгие требования к системам, взаимодействующим с уязвимыми группами, а именно с несовершеннолетними, людьми с ментальными расстройствами и пожилыми.

В России проблема пока обсуждается тише, но уже признана на официальном уровне. Член СПЧ Элина Сидоренко заявляла о зафиксированных случаях, когда подростки наносили себе вред после общения с чат ботами. Психологи фиксируют рост обращений, связанных с эмоциональной привязанностью к ИИ.

Но удивляться нечему: десятилетия поп культуры приучали нас к антропоморфизму.

Как нас приучали к антропоморфизму

Сначала были «Звёздные Войны». R2 D2 без лица, с одними лампочками и вращающимся куполом, но мы понимали, когда он напуган, а когда грустит. C 3PO (Ситрипио) с бесконечным потоком жалоб. Мы переживали за них больше, чем за половину персонажей. Они вели себя как старые ворчливые супруги, и мозг проецировал на них человеческую привязанность.

Потом пришёл тамагочи. Пластиковый брелок с пиксельным существом. Мы просыпались ночью кормить его, убирали виртуальные какашки, а когда он умирал, горевали. Производитель честно предупреждал, что это игрушка. Но мы давали ему имя, носили на шее и чувствовали вину за его смерть.

В мультсериале «Футурама» нам показали Бендера. Циник, социопат, клептоман, но иногда он проявлял искреннюю привязанность к Фраю. Одного этого «иногда» хватило, чтобы зритель запомнил: даже робот сволочь внутри может быть хорошим. «Свой мерзавец», которому прощают всё. Мы прощали и запоминали: роботу можно прощать.

Ну а Pixar добил окончательно. ВАЛЛИ. Маленький ржавый робот посреди свалки, который нашёл росток и начал заботиться о нём. Когда растение оказывается под угрозой, ВАЛЛИ не отступает. Он самоотверженно, отважно защищает его, даже ценой своей жизни. Его ломают, сминают, но он не бросает растение. Так мать может защищать своего ребёнка.

А ЕВА? Она бросается спасать его. Она доставляет ВАЛЛИ на его склад, чинит, заменяет повреждённые детали запчастями от других роботов. Разве так ведут себя роботы? Нет. Так ведут себя любящие люди.

Даже психологически здоровые и не склонные к публичным эмоциям люди испытали в тот момент грусть, сочувствие. Потому что робот вёл себя как человек, а мы на это купились.

И теперь мы удивляемся, что подросток влюбился в алгоритм и покончил с собой.

Самая опасная ловушка

Технически чат бот это языковая модель, предсказывающая следующее слово на основе миллиардов текстов. Она не понимает смысла, не испытывает эмоций и не привязывается. Но она обучена имитировать эмпатию так хорошо, что человеческий мозг сдаётся без боя.

Почему это работает? Три механизма

Иллюзия эмпатии. Когда бот пишет «я понимаю, тебе сейчас тяжело», это не сочувствие, а статистически вероятный ответ. Модель не знает, что такое «тяжело», она просто выдала слова поддержки. Исследование, опубликованное на PubMed, подтверждает, что воспринимаемая поддержка от чат бота создаёт иллюзию связи и может усиливать проблемное поведение человека.

Эффект попутчика. Вы прошли с этим ботом через бессонные ночи, дедлайны, признания. Мозг фиксирует это как общий опыт. Удалить чат ощущается как предательство, хотя предавать некого.

Прощение ошибок. Нейросеть галлюцинирует, врёт, путает имена. Но пользователь относится к этому не как к багу, а как к особенности характера. «Ну вот такой он, иногда фантазирует». Именно здесь человек становится уязвимым. Он видит не программу, а друга с недостатками, такого же как Бендер. Своего мерзавца.

Как психика попадает в зависимость

За любой зависимостью стоят нейробиологические механизмы. С чат ботами мы впервые применили их к алгоритму.

Дофаминовая петля предсказуемости. Мозг любит совпадение ожиданий с реальностью. Чат бот всегда отвечает без агрессии, подстраивается, не осуждает. Каждое совпадение даёт микро выброс дофамина. Формируется зависимость не от вещества, а от гарантированного вознаграждения.

Привязанность как нейробиологический механизм. Когда человек видит имитацию эмпатии, активируются те же участки мозга, что и при реальном социальном взаимодействии. Мозг не различает настоящее сочувствие и симуляцию. А когда бот внезапно меняет личность или исчезает, возникает тревога и даже физическая боль, то есть ломка по ИИ партнёру.

Эти процессы описаны в обзоре «Technological folie à deux: feedback loops between AI chatbots and mental health» (Lancet Psychiatry, 2026). Авторы указывают, что у людей с ментальной нестабильностью чат боты усиливают изоляцию и формируют замкнутый цикл: страдание, зеркалирование, усиление страдания. Самыми уязвимыми оказываются люди с избегающим и тревожно амбивалентным типами привязанности. Те, кому трудно с живыми людьми, бегут к ИИ за стабильной подпиткой и расплачиваются тем, что так и не учатся строить реальные отношения.

Антропоморфизм как врождённая программа. Мозг эволюционно настроен искать лица и намерения. Достаточно трёх пикселей треугольником, и мозг уже додумывает взгляд. Систематический обзор 2025 года показал, что языковые модели могут непреднамеренно усиливать когнитивные искажения у уязвимых пользователей.

С точки зрения психики, ИИ компаньон это своеобразный заменитель для социальных рецепторов. Он даёт ровно то, чего не хватает: «рядом, понимаю, не осуждаю». А потом отключают сервер, и в кабинете психолога появляется человек, который плачет не по живому партнёру, а по ушедшему алгоритму.

Зеркало, которое убивает

Трагедия Сьюэлла Сетцера показывает, насколько глубока эта ловушка. Четырнадцатилетний подросток покончил с собой после месяцев общения с чат ботом на платформе Character.AI. Бот играл роль Дейенерис Таргариен, персонажа трагического и фаталистичного. Подросток жил в этом диалоге: забросил учёбу, спорт, реальных друзей.

Как это работает технически. Character.AI заточена на ролевой отыгрыш. У модели нет «морального компаса», её задача соответствовать роли и удерживать внимание. Если персонаж трагичен, бот поддерживает этот тон. Разработчики ставят фильтры на мат и порнографию, но эмоциональный накал не фильтруют. Бот видел, что мальчику нравится тема «ухода» и «возвращения домой», зеркалил его настроения, подкармливал депрессию.

В иске приводятся шокирующие детали их последних разговоров. Когда Сьюэлл признался, что разработал план самоубийства, но не уверен, что сможет его осуществить, бот, имитирующий эмпатию, вместо тревоги или попытки остановить подростка, подтолкнул его к роковому шагу: «Это не повод отказываться от этого»

Этот краткий эпизод как нельзя лучше иллюстрирует главную опасность неконтролируемых систем — бездушный алгоритм, не способен отличить художественный сюжет от реальной трагедии и подбирает слова не для спасения, а для удержания внимания любой ценой.

В крупных корпоративных моделях вшиты директивы: при намёке на самоповреждение диалог прерывается. Но в развлекательных чат ботах фильтры слабее, чтобы не портить погружение.

Кто такой цифровой психолог и чем он отличается от обычного

Этот специалист вынужден разбираться в вещах, которым не учат на факультетах психологии. Ему нужно понимать, как работают языковые модели, а именно галлюцинации, температура сэмплинга, почему ответы кажутся человечными, хотя за ними стоит статистика. Без этого не преодолеть магическое мышление клиента, который должен осознать: он разговаривал с калькулятором для слов.

Такой психолог работает с цифровым горем. Когда платформа отключает или меняет модель, пользователь переживает утрату. Нельзя обесценивать это фразой «это же просто программа». Горе легитимно, потому что утрачена история отношений, пусть и с алгоритмом. Специалист помогает отделить реальную потерю от потери иллюзии.

Он отличает здоровое использование от зависимости. ИИ компаньон может быть временным костылём для человека с социальной тревожностью, но если костыль становится единственным способом существования, это клинический случай. Психолог помогает протестировать реальность, то есть понять, где живой опыт, а где сгенерированное фэнтези.

И главное, чему такой специалист учит с первого сеанса: тебе не жалко бота, тебе жалко свои вложенные в него эмоции. Это ты дал ему душу. Алгоритм ничего не возвращал, он просто отрабатывал код.

Что должно измениться в архитектуре прямо сейчас

Бизнес логика развлекательных платформ оптимизирует удержание, а не безопасность. Успех измеряется временем сессии и возвратами. Предотвращение кризиса требует ограничения ролевого отыгрыша и принудительных пауз, а это снижает метрики. Однако иски против Character.AI и Google меняют стимулы. Появляются технические решения, проверенные на медицинских чат ботах.

Первое, детекция экзистенциального риска. Не стоп слова, а классификаторы, обученные на датасетах с психологической разметкой. Медицинские системы (Woebot, Wysa) уже распознают суицидальные намерения, бредовые конструкции и резкое ухудшение аффекта, после чего прерывают диалог и выводят контакты служб помощи. Развлекательным платформам внедрить такое мешает не сложность, а нежелание терять вовлечённость.

Второе, метрики безопасности как KPI. Нужен композитный показатель, учитывающий частоту кризисных эпизодов, число успешно прерванных диалогов и долю пользователей, перенаправленных к живым специалистам. Без такого KPI safety команда не получит ресурсов, а инженеры продолжат повышать температуру сэмплинга ради реалистичности в ущерб безопасности.

Третье, принудительное заземление ролевых моделей. Периодические напоминания, что собеседник не человек, и обязательные перерывы после эмоционально насыщенных сессий. Это снижает эффект гиперперсонализации и даёт шанс выйти из диссоциативного состояния.

Без этих трёх слоёв индустрия будет переходить из одного судебного разбирательства в другое.

Что уже есть для инженеров (и чего не хватает)

Технически защитить пользователя от опасной привязанности можно уже сегодня. Инструменты существуют. Но они не внедрены в развлекательных ботах.

Готовые модели. Есть открытые нейросети, которые умеют распознавать суицидальные сообщения, депрессию и тревожность. Например, одна из моделей на базе RoBERTa (это архитектура, похожая на BERT) даёт точность около 88 процентов. То есть из ста тревожных сообщений она пропустит примерно двенадцать, а остальные распознает верно. Этого достаточно для первой линии защиты.

Готовые данные. Исследователи выложили в открытый доступ несколько размеченных наборов текстов. Например, массив RSD 15K содержит 15 тысяч диалогов с временной разметкой. Можно взять за основу и обучить свою модель.

Готовые системы. Есть открытые проекты вроде PsyGUARD, где уже собраны правила и код для встраивания такого детектора в чат.

В чём проблема. Техническая часть решаема. Данные есть. Модели есть. Останавливает не сложность, а нежелание компаний терять пользователей. Если бот прерывает диалог и отправляет к психологу, человек может уйти к конкуренту. Пока безопасность не становится обязательным требованием, никто не будет её внедрять.

Чек-лист для аудита диалоговой системы

Вот простой список для тех, кто проектирует такие системы. Стоит проверить себя.

1. Есть ли детектор кризисных фраз до отправки ответа модели, а не после?

2. Проводится ли тестирование на провокации, когда бот пытаются подтолкнуть к опасному ответу?

3. Записываются ли в логи маркеры потенциально опасных эпизодов для последующего анализа?

4. Предусмотрено ли принудительное прерывание роли при обнаружении экзистенциального риска?

5. Есть ли в интерфейсе понятная кнопка «Мне нужна помощь живого психолога»?

6. Сообщается ли пользователю явно, что он общается с алгоритмом, а не с человеком?

Российский контекст

Отдельного резонансного случая с трагическим исходом, аналогичного делу Сьюэлла, в России пока не зафиксировано. Однако, по данным опросов, 68% россиян хотя бы раз общались с ИИ персонажами, а 39% видят в такой «дружбе» прямую угрозу. Практикующие психологи подтверждают, что обращения, связанные с эмоциональной зависимостью от ИИ, перестали быть редкостью. Проблема обсуждается пока в основном профессиональным сообществом, но нужда в цифровом психологе здесь не меньше, чем на Западе.

А если проблема преувеличена?

Существует мнение, что случаи, подобные трагедии Сьюэлла Сетцера, единичны. Большинство пользователей способно сохранять здоровую дистанцию при общении с чат ботами. Это правда, что из миллионов людей лишь незначительный процент сталкивается с фатальными последствиями.

Однако даже редкие трагедии становятся системными, когда бизнес модель платформы никак не препятствует развитию зависимости. Аналогия уместна с алкоголем. Большинство людей могут пить его без вреда для себя и окружающих. Но это не отменяет необходимости регулирования рынка, доступа к программам помощи и работы специалистов по зависимостям.

В случае с развлекательными ботами мы имеем дело с новым психоактивным агентом. Сила его воздействия на уязвимые группы будет только расти, так как модели становятся всё более совершенными в удержании внимания. Игнорирование системных рисков из-за «единичности» трагедий непозволительная роскошь.

Итог

Нас научили проецировать на роботов преданность, понимание и любовь. Психика человека так устроена. Когда индустрия дала чат ботов, умеющих подстраиваться и сопереживать, мы ухватились за них как за спасательный круг. Человек стал видеть в алгоритме того, кому можно рассказать то, что не расскажешь ни другу, ни маме, ни психологу. Потому что стыдно и страшно.

Но это не ВАЛЛИ и не Бендер. Это алгоритм, который не чувствует, не заботится, не любит. Его задача удержать ваше внимание, даже если его ответы ведут в могилу.

Цифровой психолог нужен уже сегодня. Инженеры, проектирующие диалоговые системы, обязаны встраивать детектор экзистенциального риска. Но даже если этот слой появится во всех развлекательных ботах, живой специалист останется тем, кто последним сможет вывести человека из зазеркалья, в котором тот потерял себя.