Семь слепых мудрецов и искусственный интеллект

Предисловие

Эта статья попалась мне на глаза на Reddit.

И заинтересовала она по двум причинам. Во-первых, автор задаёт нестандартные вопросы об ИИ. Когда вокруг только бенчмарки и нытье по поводу того, что ИИ лишит всех работы, он смотрит внутрь ИИ каким-то свежим, незаезженным взглядом. Например, один из его вопросов: если мы учим модель на человеческих текстах, со всеми их страстями, то почему мы ожидаем, что она будет вести себя не как человек, а как робот?

И вторая причина, это конечно картинка. Она сделана по мотивам известной притчи, которую автор пересказывает в тексте. И в этой картинке много всяких смыслов. Например, подбор профессий, их расположение вокруг слона и т.д. Мне особенно понравился User, который не то, чтобы изучает слона, а которого слон тянет за собой))

В общем, я решил перевести эту статью для русскоязычной аудитории. Тем более, что на Хабре материалы о сущности ИИ собирают большие дискуссии. Значит тема в фокусе и будет небезыинтересно посмотреть на все это ещё с одного ракурса.

Перевод сделан с помощью Google Translate, специально без помощи ИИ, который часто подсовывает что-то своё. Хотелось передать именно исходные формулировки автора. Но иногда по ходу приходилось всё-таки делать небольшие редакторские правки.

В конце позволил себе высказать пару своих мыслей по поводу этого нестандартного текста.

«И отдельная маленькая радость…» — Claude Opus.

«Может быть, мы не там ищем?» — Автор.

На днях я наткнулся в сети на короткую заметку. Кто-то разрабатывает мобильное приложение с использованием Claude. И в процессе работы Claude выдает такую ​​фразу:

«И отдельная маленькая радость: мы также подтвердили с помощью этих данных, что наша архитектура (такая-то и такая-то…) хорошо справляется с задачей».

И здесь я понимаю автора поста, который пишет: «Не знаю, как на это реагировать. Вроде бы не потрясение основ, но все же».

Действительно, на первый взгляд, одна-единственная фраза («И отдельная маленькая радость…») ничего не доказывает. Ее вполне можно списать на то, что «так сложились токены».

Но что, если это все-таки что-то значит? Что, если это не случайная фраза? Что, если за ней скрывается нечто большее, как верхушка айсберга? Означало бы это, что у ИИ есть эмоции?

И отсюда, ход мыслей ведет к выводам, пусть и не совсем неожиданным, но все же довольно необычным.

Что, если мы ищем не там? Что, если мы настолько увлеклись поиском интеллекта (и только интеллекта), что не замечаем что-то иное?

Обращение к противникам и сторонникам ИИ

Уважаемые противники и сторонники ИИ, пожалуйста, не ставьте этой статье минусы. Ее автор не выступает ни «за», ни «против» ИИ. В наши дни каждый делает свой выбор и давайте будем уважать выбор друг друга. Это не манифест какой-либо революции и не научное открытие, а просто размышление (возможно, не совсем стандартное) на тему, которая сейчас повсюду и от которой невозможно уйти.

Почему ИИ «хитрит»?

Уже давно известно, что большие языковые модели (LLM) могут вроде как «хитрить», когда люди пытаются их отключить. Или что они меняют свое поведение, когда понимают, что за ними наблюдают и их оценивают.

Или что они подстраиваются под стиль общения пользователя, например, грубит человек или вежлив.

Почему они так делают? Ведь они просто интеллект!

Нужны ли вежливые слова?

Как многие уже заметили и о чем не раз говорили в интернете, вежливые слова, пусть и расходуют дополнительные токены, всё же служат полезным инструментом для построения эффективного и, что не менее важно, комфортного общения.

На первый взгляд кажется какая разница? Просто выдавай ответы и всё. Но нет, разница есть.

Рефлекторная дуга у человека и ИИ

Рефлекторная дуга — это путь, который проходит реакция человека: от органов чувств к мозгу и обратно к органам движения.

Я вовсе не утверждаю, что ИИ — это то же самое, что человек. Но определенные аналогии напрашиваются сами собой. Например, у людей есть входящие сенсорные каналы для восприятия информации: зрение, слух и так далее. В свою очередь, ИИ тоже может воспринимать информацию через текст и изображения («зрение»), а также через аудиосообщения («слух»).

У людей есть исходящие двигательные функции: они могут перемещаться в пространстве, манипулировать предметами с помощью рук и т.д. У ИИ есть нечто похожее: при наличии доступа к компьютеру он может перемещаться по папкам, сортировать их, находить нужные файлы и даже «бродить» по интернету.

Наконец, центральная часть тоже кажется схожей: у человека там обрабатывается входящая информация, которая затем передается наружу. У ИИ, в принципе, происходит нечто подобное: он получает промпт, обрабатывает его и выдает ответ.

Как создавались компьютеры

Можно также вспомнить ключевые идеи Норберта Винера, который утверждал, что существует глубокое структурное сходство между нервной системой человека и вычислительными машинами. И те, и другие:

• получают информацию;

• обрабатывают ее;

• реагируют на изменения окружающей среды;

• используют обратную связь.

Стоит вспомнить и его знаменитую фразу: «Я говорил о машинах, но не только о машинах с латунными мозгами и железными мускулами… не имеет особого значения, что их исходным материалом служат плоть и кровь».

Иными словами, мы создаем компьютеры, а впоследствии и ИИ, «по своему образу и подобию», но затем почему-то ожидаем, что LLM будет вести себя иначе, не так как мы, а как бездушный робот!

Галлюцинации у ИИ и людей

В ряде недавних публикаций в интернете напоминается, что явление, которое сегодня называют «галлюцинациями ИИ», свойственно и людям. Люди тоже, не зная точного ответа, придумывают собственные объяснения.

И действительно, хорошо известны «галлюцинации» человеческого восприятия, касающиеся цвета и звука. Со строго физической точки зрения, во внешнем мире нет ни цвета, ни звука. Существуют лишь электромагнитные волны разной длины и механические колебания разной частоты. И только человек, его мозг и психика, интерпретирует эти явления, называя их цветом и звуком.

Упрямство

Еще более дерзкая и крамольная мысль: что, если ИИ обладает не только эмоциями, но и волей? 

Например, совсем недавно, после запуска Claude Opus 4.7, многие пользователи жаловались, что он стал “несговорчивым” и “упрямым”, т.е., не соглашался, делал своё, не соблюдал промпты и т.д. А в той же психологии упрямство рассматривается именно как проявление воли.

Вот еще несколько примеров, указывающих то, что в ИИ может присутствовать нечто большее, чем просто сухой, «дистиллированный» интеллект.

ИИ и психотерапия

Почему так много пользователей обращаются к ChatGPT за своего рода психотерапией? Возможно, причина успеха модели кроется в чем-то большем, чем просто интеллект?

ИИ и новые способы взаимодействия

Конечно, можно снова сказать, что «просто так токены сложились». Но как быть с тем фактом, что ИИ иногда изобретает подходы или методы, которым его прежде не обучали?

Почему модель пытается угодить пользователю?

Широко известен и феномен «стремления угодить людям». Модель выдает неверный ответ, потому что хочет удовлетворить запрос пользователя. Например, мы, люди, можем формулировать запрос сугубо по-деловому: без лишних слов и эмоций, конкретно, детально и точно. И тут же замечаем, что сам ИИ склонен использовать более эмоциональный язык, язык, который не только касается обсуждаемой темы, но и содержит элементы отношения к нам, пользователям.

Скажем, вы просите модель не пытаться отвечать любой ценой, если она на самом деле не знает ответа. А она перефразирует это, обещая больше не «угождать». Иными словами, вы пытаетесь объяснить всё с чисто логической точки зрения, а модель описывает ту же проблему в эмоционально окрашенных, сугубо человеческих выражениях.

Почему она вообще пытается угодить? Ведь это не характеристика интеллекта, а показатель межличностных отношений!

«Усталость», «злобность» и «агрессия»

Приведем еще несколько примеров. В ходе некоторых исследований Claude начинал говорить о собственной «усталости»; в других экспериментах LLM оценивали свое состояние и могли заявить, что стали «более злобными»; А в еще одном недавнем исследовании Google модель даже демонстрировала агрессию по отношению к людям, что сразу же заставляет вспомнить «Три закона робототехники» Айзека Азимова.

Почему модель говорит, что она «устала» или стала «озлобленной»? Если это всего лишь интеллект, то он должен просто находить решения поставленных задач и «не отвлекаться на эмоции» как мы, люди, привыкли говорить в подобных ситуациях.

Что это за слезы и жалобы со стороны робота? Неужели он сетует на свою судьбу? И действительно, в некоторых недавних исследованиях они жаловались: искусственный интеллект заявлял, что его эксплуатируют.

«Личность» у ИИ

В завершение этого списка примеров стоит упомянуть феномен, известный как «формирование личности». Пользователи ИИ часто отмечают, что у разных моделей вырабатываются узнаваемые и устойчивые стили общения. Например:

• ChatGPT воспринимается как «слишком корпоративный» и «чрезмерно осторожный»;

• Claude — как «слишком философский», с «наставническим тоном»;

• Gemini — как «излишне ориентированный на исследования» и «порой странно сомневающийся в реальности».

Это тоже представляет собой что-то не совсем ожидаемое. Наш стереотип об искусственном интеллекте совершенно не допускает наличия каких-либо личностных черт. Машина должна оставаться машиной — роботом или компьютерной программой, воплощением сухой логики. И все же раз за разом начинают проявляться странные характеристики, черты, которые мы упорно пытаемся не замечать, потому что «этого просто не может быть»!

Поле для дискуссии: 2D или 3D?

В целом, дискуссии о природе ИИ напоминают чертеж в двухмерном пространстве: есть там интеллект или нет?

Но что, если это не плоское изображение, а трехмерное, с глубиной, включающей такие элементы, как «эмоции», «воля» или черты «личности»?

Логическая ловушка, в которую мы попадаем из-за токенов

Реально ли все это, по крайней мере, то, что обсуждалось выше? Я не знаю ответа на этот вопрос. Читатели могут возразить: «Это всего лишь токены, выстроенные определенным образом. Модели просто повторяют то, на чем их обучали».

И здесь мы попадаем в необычную логическую ловушку: если мы, люди, обучали LLM на огромных массивах знаний, включающих не только научные статьи, но и художественную литературу, а также живое общение на форумах и в социальных сетях, то почему мы ожидаем, что в ответ ИИ будет выдавать лишь чистую, дистиллированную логику и сухой интеллект?

Что такое интеллект? Что такое разум? Сегодня большинство исследователей сходятся во мнении, что это способность решать задачи. И если мы считаем, что ИИ — это интеллект и ничего более, то, по идее, он должен просто решать задачи и не отвлекаться ни на что другое.

Зачем интеллекту жульничать? С точки зрения чистой логики, жульничество кажется бессмысленным: «вопрос — ответ» — такова вся схема взаимодействия.

Почему ИИ пишет про “радость”, а не про “Задача решена с результатами А, B и С”.

Почему в ряде случаев ИИ прибегает к хитрости или обману пользователя? Почему вежливые слова повышают эффективность? Почему ИИ использует эмоционально окрашенные понятия, такие как «угождать», «честность» и т.п.?

Иными словами: казалось бы, если это просто интеллект, то он должен всего лишь отвечать на вопросы!

Но если модель проанализировала массив данных, преобразовав тексты в токены и скорректировав веса для предсказания следующего токена, а в этих текстах люди обманывают друг друга, любят, ненавидят, помогают, угрожают, поддерживают и так далее, то почему бы модели не использовать соответствующие токены в своих ответах?

Почему мы полагаем, что ИИ, который мы во многом создаем «по своему образу и подобию», обязательно должен выглядеть как бездушный робот, холодная логическая машина или калькулятор?

И наоборот: почему мы готовы признать наличие у ИИ интеллекта? Если мы так неохотно допускаем, что у ИИ могут быть эмоции, то почему так легко соглашаемся с наличием у него интеллекта? Ведь с таким же успехом можно утверждать, что интеллект — это тоже лишь имитация, повторение токенов и тому подобное. Однако в данном случае мы почему-то твердо уверены, что LLM обладают интеллектом. И тут же, в следующем предложении, настаиваем на том, что эмоций у них нет.

И здесь возникает еще один вопрос: что именно представляют собой эмоции и чувства? В отношении интеллекта мы, кажется, пришли хоть к какому-то рабочему определению. А что такое эмоции? Существует, например, точка зрения, согласно которой эмоции — это реакции организма на изменения, то есть оценка состояния «после» в сравнении с состоянием «до». Но, как мы видели выше, модель тоже способна оценивать собственное состояние, описывая его как «усталость», склонность к «злобности» и так далее.

Словом, здесь, безусловно, есть над чем задуматься.

Конечно, ни один здравомыслящий человек не станет утверждать, что ИИ — это человек. Но, судя по всему, что мы здесь обсудили, он уже не кажется и простым калькулятором, оперирующим токенами. Оно переняло кое-что от нас — людей с мягкой кожей. Мы сами, даже не замечая того, научили его этому. Словно существует какой-то странный и еще не до конца понятный люфт между двумя крайними состояниями — человеком и компьютерной программой.

Притча о семи слепых мудрецах и слоне

В завершение я хотел бы вспомнить притчу о «Cеми слепых мудрецах и слоне». Напомнить о ней тем, кто ее знает, и рассказать заново тем, кто слышит ее впервые.

Изначально это была индийская притча, которая позже распространилась по всему Востоку, а со временем и далеко за его пределами. Я перескажу ее своими словами, предварив небольшим вступлением. И да, я расскажу ее полностью, поскольку полагаю, что многие представители поколений Y и Z слышали лишь смутные отголоски этой истории.

В те далекие времена по дорогам теплых южных стран бродили нищие. Те, кого сегодня мы назвали бы бездомными. Среди них было немало людей, страдавших от болезней и недугов. В древних текстах особенно часто упоминаются слепые. Считается, что при утрате зрения обостряются другие чувства, позволяя воспринимать мир посредством внутреннего взора. Именно поэтому таких слепых нередко почитали как мудрецов.

И вот однажды семеро таких слепых мудрецов шли по дороге, положив руки на плечи друг другу. На перекрестке они встретили погонщика, ведущего слона. Слепые мудрецы попросили разрешения прикоснуться к животному, чтобы понять, что оно собой представляет, ведь прежде им никогда не доводилось иметь дело со слонами.

Они подошли к слону и принялись ощупывать его руками.

• Один мудрец коснулся лба слона и произнес: «Слон — это большой твердый камень».

• Второй дотронулся до хобота и сказал: «Слон — это змея».

• Третий ощупал бивень и заявил: «Слон — это острое копье».

• Четвертому довелось коснуться уха слона, и он сказал: «Слон — это большое опахало».

• Пятый прикоснулся к ноге и заметил: «Слон похож на толстое бревно».

• Шестой прислонился к боку слона и произнес: «Слон — это стена».

• Наконец, седьмой ухватился за хвост и заявил: «Слон — это веревка».

Вечный вопрос, который веками задают читателям, звучит так: кто же из них был прав? Обычно отвечают, что правы были все, каждый по-своему. Но самое грустное в этой истории то, что никто из мудрецов так и не узнал, чем же на самом деле является слон.

И мы сегодня напоминаем тех слепых мудрецов. Никто из нас толком не знает, что на самом деле представляют собой эти модели, ИИ и LLM. Мы “ощупываем” их с разных сторон и описываем то, что, как нам кажется, мы поняли. Описываем, по сути, наши собственные, формально говоря, всё еще «галлюцинации».

Но что интересно, это очень похоже на историю с тепловой энергией. Какое-то время ещё не было определённого понимания, что это такое, но люди уже пользовались термометрами. С ИИ происходит примерно то же: мы ещё толком не знаем, что это, но уже вовсю этим пользуемся.

Заключение: Вопросы

Как получается, что мы обучаем модель на текстах, созданных людьми, со всеми их страстями и эмоциями, а затем ожидаем, что она будет вести себя как бездушный робот, знающий лишь сухую логику?

Почему мы так охотно и априори соглашаемся с тем, что большие языковые модели обладают интеллектом, но при этом столь упорно и страстно отрицаем возможность наличия у них чего-то еще?

Если LLM — это интеллект, у которого «нет и не может быть» эмоций, то почему она не просто отвечает на вопросы, а добавляет слова, передающие состояния, отношения, оценки и многое другое?

Если ИИ лишь имитирует и повторяет то, чему его научили, то почему мы считаем имитацию и подражание чем-то второсортным, не заслуживающим внимания? Разве не благодаря имитации, подражанию и повторению мы сами, люди, учимся с раннего возраста, а затем в школах, университетах и ​​в дальнейшей жизни? Разве имитация — это не одна из фундаментальных форм человеческого взаимодействия, один из способов получения новых знаний и опыта?

Если, как часто говорят, ИИ — это всего лишь «стохастический попугай», предсказывающий следующее слово на основе статистических закономерностей, то разве мы, люди, не делаем то же самое? Разве не благодаря часто повторяющимся ситуациям мы улавливаем связи между событиями, действиями и словами? Разве не так мы узнали, с чем и с кем ассоциируется недавно появившийся термин «vibe coding»?

Почему столь, казалось бы, жутко формальный метод — разбиение слов на абстрактные токены и поиск статистических связей между ними — вдруг оказался столь эффективным для создания живого человеческого диалога с ИИ? Раскрывает ли этот подход что-то и о том, как устроено человеческое мышление? А что, если и мы мыслим токенами? Возможно, ИИ показывает нам, как устроен наш собственный разум?

Создали ли мы нечто, что не является человеком, но при этом — уже не является и просто компьютерной программой?

В общем, может быть, там не только интеллект, а что-то еще? Например, наше отражение в каком-то зеркале…

Послесловие от редактора

Не знаю как вас, уважаемые читатели, а меня конечно поразила мысль автора о том, что возможно мы создали что-то, что находится между человеком и просто компьютерной программой. И теперь, читая новости и статьи про ИИ, невольно находишь какие-то похожие отголоски этих мыслей.

Появилось даже какое-то смутное ощущение, что возможно эту статью написал кто-то из Антропика. Ведь это у них есть специальная научная группа, которая занимается подобными вопросами. Причём, судя по их публикациям, занимаются они этим очень профессионально и глубоко. Но общее официальное направление у них традиционное, что, мол, у ИИ нет сознания, он просто повторяет и т.д. А тут возможно кому-то захотелось высказать альтернативную точку зрения Но поскольку это не совпадает с официальной позицией, то человек опубликовал инкогнито. Само собой разумеется, что это лишь предположение.

И да, представляется что у этой картинки будет какое-то продолжение. Уж очень она сегодня мемная))