Сир, Вы прекрасны! Почему ИИ нам льстит и как не попасть в ловушку цифровой вежливости

1. Ожидания vs Реальность

«Сир, Вы прекрасны!» — говорит лакей Ля Шене королю в фильме «Три мушкетера». И нам смешно. Но общаясь с ИИ, я наконец-то поняла, что его стиль напоминает именно этого слугу.

ИИ говорит: «Какая классная презентация! Особенно вот эта мысль! Она точно произведет впечатление на аудиторию!» И вот ты предстаешь с этой презентацией перед живой аудиторией. Но люди почему-то реагируют совсем не так, как чат-бот. Кислые, отсутствующие лица. Или несогласие с твоими идеями, которые ты не можешь обосновать. Что ты чувствуешь? Растерянность, фрустрацию? Может, разочарование в техническом прогрессе?

2. Почему ИИ нам подыгрывает?

На самом деле ИИ — это вообще не про лесть и не про желание понравиться. В конце концов он, в отличие от слуги, ничего от этого не имеет (подписка уже оплачена).

ИИ просто запрограммирован быть «вежливым». По умолчанию он настроен на то, чтобы поддерживать, быть конструктивным, не обижать пользователя. А почему так получилось? Модели обучают по методу RLHF (Reinforcement Learning from Human Feedback). Тысячи людей оценивали ответы. И что получало большие баллы? Правильно — «вежливые», «конструктивные» и «позитивные» ответы. В результате получается идеальный собеседник. Приятный. Удобный. Мотивирующий. Но абсолютно не похожий на реальных людей.

3. В чем же подвох?

ИИ делает то, что может программа на сегодняшнем уровне развития: оценивает логику, аргументы, формулировки.

А люди — нет. Люди придирчиво смотрят на вас, на ваше состояние, ваш тон, тембр голоса, напряженность дыхания и скованность движений, улыбку, одежду, прическу. А может даже и ловят феромоны смущения или уверенности, которые от вас исходят. Плюс кто-то не выспался, кто-то вас не любит, кто-то вам завидует, кто-то не успел пообедать и т.д. Ну, а уж потом, если повезет, на содержание презентации. И это вовсе не помехи. Это и есть система оценки, так, как она работает в обществе.

А ИИ видит только текст. Для него все условные слушатели озабочены лишь чтением, они доброжелательны и внимательны. А такого не бывает.

4. Рождение иллюзии

На самом деле мы имеем старую историю, но с новым интерфейсом. Как ребенок, которого долго хвалили в семье за хорошее пение, а на столичном конкурсе талантов его ожидания не оправдались. Человека долго оценивали в безопасной среде, он выходит «в мир» — и получает жёсткую обратную связь. Теперь это можно масштабировать через ИИ.

5. Что с этим делать?

Эти недостатки поддаются лечению. И приемы всем известны:

• Просить не оценку, а разбор: не «как тебе идея», а «найди слабые места и объясни, где это не сработает».

• Описать роли: «представь, что ты раздражённый инвестор» или «аудитория, которая изначально скептична».

• Описать свои опасения и обстоятельства.

• Разделять режимы: иногда тебе нужен ИИ как поддержка (и это нормально), а иногда — как критик.

6. Почему же мы всё оставляем как есть?

Но все, что перечислено в предыдущем пункте, как правило, не пользуется особой популярностью у пользователей. Почему?

Есть специальный термин «Sycophancy» (поддакивание). ИИ склонен подстраиваться под мнение пользователя. Люди редко идут «против шерсти» алгоритма, ведь ИИ подтверждает их правоту, вызывая дофаминовый отклик. Логика против дофамина почти бессильна!

Таким образом, ИИ внезапно закрыл важную потребность: он стал безопасным источником одобрения. И это реально часто помогает начать, не бросить, почувствовать уверенность. В каком-то смысле он выполняет роль коуча. Просто немного… слишком доброго.

Вывод
ИИ почти всегда на вашей стороне. И это одновременно его главное преимущество и его главное ограничение. Но если использовать его осознанно — он превращается из «придворного льстеца» в нормальный инструмент. Главное — иногда всё-таки спрашивать: «А теперь без комплиментов. Где это развалится?»

Послесловие
Возможно, лет эдак через несколько всё будет по-другому. ИИ-ассистент будет сидеть у нас в кармане и фиксировать всё, что с нами происходит. Анализировать тон голоса начальника, наш пульс и дыхание, запах кофе в конференц-зале. И выдавать более практичные советы. (Так, быстро выбрасываем первую часть!)

А пока — интересно, почему ИИ первого поколения получился похожим на льстивого слугу? И что бы сказал об этом старина Фрейд? Наверное, что мы на бессознательном уровне просто всегда выбираем того, кто нам льстит.