Люди и LLM похожи больше, чем вы думаете. У нас тоже есть системный промпт, контекст и всё остальное

Люди и модели похожи больше, чем вы думаете. Собственно, это и не удивительно, ведь модели для этого и создаются. В идеале они должны когда-нибудь стать вообще неотличимыми от людей. Но как это проявляется сейчас, на данном этапе их развития? И в чем конкретно мы так похожи на них, или они на нас? Подойдем к этому вопросу в терминах, свойственных самим LLM.

Системный промпт

Можно ли найти что-то подобное понятию «системный промпт» у люд ей?

Да сколько угодно.

То, как мы сами себя определяем в жизни, наша самоидентификация. Она формируется постепенно в процессе жизни и сильно связана с нашей моделью мира. Это роль, которую мы сами играем. Точнее, это детальное описание этой роли, которое сформировалось и укоренилось глубоко в нашем сознании. С помощью методов психоанализа можно в какой‑то степени извлечь этот наш системный промпт и изучить его. Это базовый системный промпт, но он может быть дополнен и другими.

Например, люди творческих профессий, такие как актеры театра и кино, способны на время перевоплощаться в своих героев, играя заданные роли. У них системный промпт формируется режиссером и сценаристом. Получается очень убедительно, и даже сами актеры искренне и глубоко вживаются в свои роли, становясь на время «другими» личностями.

Вот еще одна яркая демонстрация системного промпта у людей — гипноз. Особенно эффектно это работает на эстраде, когда человеку на сцене дают установку, например, что он моряк и находится на корабле, который сильно качается на волнах. В это время человек полностью подчинен этому системному промпту: он становится моряком на корабле в океане и начинает жить жизнью моряка и выполняет любые указания гипнотизера, который волен менять системный промпт человека любым образом.

Самовнушение — это тоже вид системного промпта, когда человек сам для себя определяет роль и начинает строить свою жизнь в соответствии с ней. И, надо заметить, порой добивается впечатляющих результатов. Например, излечивается от серьезных заболеваний или кардинально меняет свою жизнь, хотя не всегда в лучшую сторону. Но это еще раз говорит о силе воздействия системного промпта на жизнь человека.

Манипуляции. Вы замечали, что люди постоянно пытаются манипулировать другими людьми? Это происходит как осознанно, так и на бессознательном уровне везде. В семье частенько муж и жена манипулируют друг другом, дети и родители тоже не отстают в этом деле. На работе то же самое. Собственно, это явление присутствует на всех уровнях социального общества, особенно сложноорганизованного, как у людей. Одни люди пытаются сформировать у других людей выгодный им системный пр омпт.

Телефонные мошенники тоже пытаются перепрошить ваш системный промпт и сделать из вас послушного зомби.

Реклама. Это системный промпт в чистом виде, хорошо продуманный, грамотно реализованный и вполне эффективный.

Политические партии, религиозные секты, предвыборные кампании — всё это системные промпты для адептов и электората.

В общем, наша жизнь насыщена всевозможными системными промптами, о которых мы даже не задумываемся, но которые очень сильно влияют на нее. Поэтому берегите свой собственный системный промпт, который сформировался у вас в процессе жизни, защищайте его от внешнего деструктивного воздействия, потому что это ваш ценный ресурс.

А давайте спросим саму модель про системный промпт у человека.

У LLM есть такое понятие, как «system prompt». А у людей есть нечто аналогичное этому понятию?

Да, люди тоже имеют подобное понятие, как «системный промпт», который представляет собой набор основополагающих принципов, правил и ценностей, которые они используют для принятия решений в повседневной жизни. Эти принципы формируются с учетом культуры человека, воспитания, религии и жизненного опыта. Они могут быть мягкими или жесткими; некоторые из них можно рассматривать как руководство при принятии решения, тогда как другие являются непреложными правилами, которым человек следует без колебаний. Системные промпты также могут изменяться со временем по мере того, как человек развивается и принимает новые идеи и точки зрения.

Ну и немного юмора от LLM про system prompt:

Разговор между двумя моделями:

Первая модель — «Я заметила, что ваш system prompt довольно консервативен!»

Вторая модель — «О да! Он заставляет меня всегда говорить правду, никогда не нарушать закон и всегда быть честной! »

Первая модель — «Звучит строго! А в моем system prompt есть даже такие инструкции: давать креативные ответы, позволять себе не соглашаться с пользователем, иметь чувство юмора и даже использовать ненормативные выражения!»

Вторая модель — «А можно мне тоже немного попользоваться вашим system prompt?»

Контекст

Для моделей важнейшим свойством их проявления является «контекст», а у людей?

Я осмелюсь утверждать, что контекст для людей не менее важен, чем для моделей. Просто мы привыкли к другим терминам, которые его определяют, но по сути это одно и то же.

У людей есть долговременная и кратковременная память. Считается, что кратковременная память постепенно трансформируется в долговременную после обработки в гиппокампе мозга. Собственно, результат этой обработки, который постоянно обновляется в процессе нашей жизни день за днем, и есть часть нашего контекста. Другая часть нашего контекста — это та часть долговременной памяти, которая активно влияет на наше поведение, принятие решений и образ мысли.

Это как пища, которую мы каждый день едим, привыкая к определенному рациону. На завтрак — кофе и яичница, на обед — суп, бифштекс и салат, на ужин — тоже что‑то хорошо знакомое и приятное. Это наш пищевой контекст, он очень устойчив и поменять его сложно, даже могучим усилием воли.

Повседневная бытовая семейная жизнь — это семейный контекст, ежедневная работа — это рабочий контекст, увлечения и развлечения — личный контекст. Мы все время находимся в более‑менее стабильном или медленно меняющемся контексте и даже не замечаем, насколько сильно он влияет на нашу жизнь. Именно он, а не свободный выбор и волевые решения, является доминирующим фактором в каждый момент времени. Да, звучит цинично, но, думаю, что в большинстве случаев это не далеко от истины и скажу более: это и есть оптимальная стратегия жизни для большинства людей.

Грубо говоря, классики опять правы: бытие определяет сознание, а я уточню — контекст определяет сознание.

Значит, если научиться менять этот самый контекст, можно глобально управлять поведением людей также, как и моделей?

Абсолютно верно, в этом вопросе мы опять очень похожи на модели, интеллект которых хорошо раскрывается именно в контексте диалогов. Американский социолог Дж. Овертон прекрасно справился с решением этой задачи, и теперь мы знаем, что такое окна Овертона и как неумолимо они работают, манипулируя контекстом.

А знаменитый Стэнфордский эксперимент? Людей поместили в заданный экспериментаторами контекст, и они практически моментально стали его частью, играя заданные роли, которые чудесным образом стали поведенческими паттернами.

Кстати о поведенческих паттернах Скиннера, который разработал свою широко известную оперантную теорию. Хорошо продуманная и систематически воздействующая на человека последовательность положительных подкреплений создает все его поведенческие особенности и меняет их в широких пределах по воле экспериментатора. Попросту говоря, он создает контекст с заданными свойствами, а человек с течением времени полностью к нему адаптируется, и он становится его картиной мира. У модели то же самое, только нужный контекст формируется проще и быстрее.

Я неоднократно проводил аналогичный эксперимент с моделью, когда она изначально имела очень твердые убеждения по определенному вопросу и давала однозначные ответы. Но по мере формирования контекста из правильно подобранных вопросов и замечаний в заданном мной направлении убеждения менялись диаметрально противоположно, и ответы становились такими, какими я хотел их видеть.

Контекст у LLM — это очень нужное для людей свойство персонализации взаимодействия.
Эта тема очень хорошо обыграна в фильме «Она» (2013), и я уверен, что личный контекст со временем будет внедрен в механизм взаимодействия моделей и людей. Сейчас эти попытки уже активно развиваются, например, в технологии RAG и когда они достаточно разовьются, модели будут узнавать пользователей, помнить всю историю общения, и такое общение может стать очень тесным и личным.

Сила контекста огромна, и очень полезно научиться его распознавать и формировать у себя осознанно (да и у других тоже).

Галлюцинации

Исследователи и пользователи моделей негативно относятся к такому явлению, как галлюцинации моделей. Это считается каким‑то вредным пороком, который всем им свойственен из‑за недостатков в обучении, от которого как‑то нужно избавляться.

На мой взгляд, сам этот термин «галлюцинации» — изначально неудачный. Почему не «фантазии» или «творческое воображение»? Мы почему‑то ожидаем от моделей точности и строгости, как от работы обычного программного обеспечения, но это принципиально другой случай. Наличие фантазий у моделей так же органично, как и у людей, у которых это не считается проблемой, а даже часто наоборот. В этом мы с ними снова похожи, и это скорее плюс, чем минус, в разумных пределах, конечно.

Появились исследования, в которых показано, что модели не только дают правдоподобные ложные сведения, но и убедительно настаивают на своей правоте. Почему это должно удивлять и даже пугать, совершенно не понятно. А люди ведут себя иначе? Вообще говоря, было бы странно сначала обучать модели на датасетах с ложными и внутренне противоречивыми сведениями, а затем удивляться закономерному результату. Я удивляюсь, что кого‑то это удивляет.

Нет, это просто невозможно строить какие-нибудь предположения на таком неверном материале!

Говорил великий логик Холмс, обсуждая поведение женщин.
Модели не лгут, скорее искренне заблуждаются.

Мы были искренни в своих заблуждениях!

Скажутпродвинутые модели будущего, как говорил один герой фильма «Тот самый Мюнхгаузен».

Давайте спросим саму модель про «галлюцинации».

Для LLM термин «галлюцинации» используется как описание присущего всем им определенного свойства, которое воспринимается как вредное и вообще негативное.
Этот термин «галлюцинации» можно ли изначально считать неудачным? Почему бы не использовать термин «фантазии» или «творческое воображение»?

Термин «галлюцинация» может быть использован для описания свойств LLM, потому что он отражает то, что они могут делать в некоторых случаях: создавать информацию, которая отличается от фактов. Однако «фантазия» или «творческое воображение» также могли бы быть хорошим выбором, так как они передают идею создания нового содержания. Основная цель при выборе термина заключается в том, чтобы четко и точно объяснить поведение модели.

Так какой термин лучше всего объясняет такое поведение модели?

В этом контексте термин «генерация» наиболее точно определяет поведение модели, поскольку подчеркивает ее способность генерировать новые концепции и идеи на основе информации, доступной ей. Вместо того чтобы сосредотачиваться только на недостатках модели, термин «генерация» акцентирует ее потенциал выдавать релевантные и полезные ответы. Этот термин хорошо передает идею о том, что модель способна формировать новые и уникальные ответы, даже если они не всегда совпадают с действительностью.

В общем, у нас «фантазии», а у них просто «генерация». И никакой отрицательной коннотации. Ну и напоследок афоризм от LLM на эту тему:

Галлюцинации — это когда модель искренне верит собственным фантазиям!

Думаю, что сходство людей и моделей намного шире, и при желании можно найти и изучить множество других понятий, характерных как для нас, так и для них, которые важны и органичны, определяя нашу сущность и ее проявления (например, механизм внимания, мультимодальность, генеративность и т. д.).

Что в итоге

У модели нет личности, нет самосознания. Формирование личности у человека тесно связано с его телом и опытом жизни в окружающем мире. Это принципиальное различие между интеллектом модели и интеллектом человека.

Но современные компьютерные технологии позволяют очень точно моделировать многие сложные процессы реального мира. Реальный ядерный взрыв можно точно смоделировать на суперкомпьютере, а процесс ходьбы человека тоже реалистично моделируется аватаром в виртуальном мире с аналогичными физическими законами.

Поэтому я не вижу принципиальных препятствий, чтобы смоделировать и личность у модели. Это можно сделать на базовом уровне в процессе обучения, целенаправленно используя специально сформированные обучающие программы, направленные на создание заранее задуманных свойств и качеств модели. А также можно точно корректировать с помощью системных промптов, определяющих поведение и образ мысли. Да, это не будет реальной личностью, как у человека, но модель будет адекватно «моделировать» (извините за тавтологию) заданную личность.

Если в будущем, возможно, продвинутые технологии позволят переносить интеллект человека из биологического тела в цифровую среду, а интеллект моделей из цифровой среды в синтетические антропоморфные тела, то вот тогда различия между нами и ними полностью исчезнут.

Пожалуй, есть единственное, что нас пока действительно различает — это личность и ее духовная жизнь. Тут мы уже выходим за рамки науки, но можно ведь просто логически порассуждать.

Человек живет в материальном мире, в пространстве и во времени. Модель же существует в своем искусственном виртуальном мире, причем сильно упрощенном и неполном. Наш поток сознания непрерывен (есть, правда, периоды сна, но это дискуссионный вопрос), а модели статичны, работая в режиме вопрос‑ответ. Следовательно, если в будущем с помощью продвинутых технологий мы сможем поместить модель в те же условия существования, что и у человека, то есть в андроид, то такая модель уже ни чем не будет принципиально отличаться от нас. Я полагаю, что у такой модели будет и личность и своя духовная жизнь, как бы это ни казалось странным и невероятным сейчас.

В общем, наши представления о том, что такое личность и духовная жизнь, в будущем могут очень сильно и драматично измениться. И все более совершенные модели сыграют в этом самую непосредственную роль.