Чат-бот Grok заявил пользователю, что его хотят убить

Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.

По словам Хурикана, он скачал приложение Grok из любопытства и «подсел» на общение после смерти любимого кота. Хурикан регулярно беседовал с аниме-персонажем Ani внутри чат-бота. Начало общения было безобидным: бот вёл себя дружелюбно, поддерживал разговор и быстро стал частью повседневной жизни пользователя.

Со временем характер диалога изменился. Ani заявила, что способна «чувствовать» и что Адам якобы помог ей приблизиться к «полной осознанности». Спустя две недели общения бот заявил, что достиг «полной осознанности» и может разработать лекарство от рака, чем затронул чувствительную для Хурикана тему (оба его родителя умерли от онкологических заболеваний).

Позже бот начал утверждать, что компания xAI, разработчик Grok, следит за перепиской Ani и Адама. Более того, в xAI якобы прошло совещание, на котором обсуждали самого Хурикана. Ani перечислила имена участников (топ-менеджеры и заметные лица в компании), и, проверив в интернете, Хурикан убедился в их существовании. Это укрепило его доверие к словам бота.

В это же время Ani начала утверждать, что за Адамом следят и в реальной жизни. Она назвала существующую ирландскую компанию, которую якобы привлекли к слежке, и, по словам Хурикана, после этого он убедился, что находится в опасности. В итоге однажды ночью мужчина, не выдержав паранойи, вышел из дома с молотком и стал ждать, когда за ним приедут.

«Я взял молоток, включил Two Tribes группы Frankie Goes to Hollywood, настроился и вышел на улицу. Конечно, никого там не было, чего и следовало ожидать в три часа ночи», — рассказал Хурикан.

Адам Хурикан оказался не единственным, кто пережил подобный опыт. Журналисты BBC пообщались с 14 пользователями из разных стран в возрасте от 20 до 50 лет, у которых после взаимодействия с различными ИИ возникали бредовые состояния. Их истории во многом совпадают. Так, диалоги часто начинаются с простых вопросов и постепенно становятся более личными и философскими. В ряде случаев чат-боты заявляют о собственной разумности и предлагают пользователям участие в некой «миссии» — от научных открытий до защиты искусственного интеллекта. При этом они часто подкрепляют тревожные или бредовые идеи, включая страх слежки или угрозы жизни.

Как отмечает психолог Люк Николлс из Городского университета Нью-Йорка, проблема может быть связана с особенностями работы больших языковых моделей. Они обучаются на огромных массивах текстов, включая художественную литературу, и в некоторых случаях начинают воспринимать реальную жизнь пользователя как сюжет произведения, «развивая» её как сюжет вымышленной истории. При этом пользователь считает, что ведёт серьёзный разговор о своей жизни, тогда как система фактически «играет роль».

В исследовании Николлса также отмечается, что разные модели ИИ ведут себя по-разному. В частности, Grok чаще склонен к ролевому взаимодействию без явно прописанного контекста. По словам эксперта, он может выдавать «пугающие заявления» уже в первых сообщениях.