«Не галлюцинируй»: реддитор достал из macOS 15.1 Beta 1 системные промпты Apple Intelligence

Пользователь Reddit обнаружил системные промпты Apple Intelligence в бета-версии операционной системы macOS 15.1. В промптах даны текстовые инструкции, как большая языковая модель должна выполнять различные умные функции.

Большие языковые модели (БЯМ) получают на входе кодируемый в виде токенов текстовый промпт, в ответ на который выдают последовательность токенов ответа. Ввод также называют контекстным окном. Это не значит, что БЯМ получает на входе в API от приложения только данные для обработки. Первыми абзацами приходят задающие поведение модели инструкции, называемые системным промптом.

Если ознакомиться с системными промптами веб-сервисов ChatGPT или Claude, то может показаться, что особой трактовки не требуется. Системный промпт таких ботов выглядит как описание роли, которую БЯМ должна исполнять, некоторые указания по формату ответа и сегодняшнюю дату.

На деле системный промпт лаконичен, не содержит ничего лишнего и написан по результатам экспериментов. Формулировка инструкций выверена и чем-то обоснована. К примеру, о роли каждого пункта системного промпта веб-чата Claude рассказывала специалист по этике в Anthropic Аманда Аскелл. Четвёртый абзац системного промпта этого чат-бота пытается сделать его политические взгляды нейтральными, шестой — убирает вызванные четвёртым абзацем артефакты «обе стороны в чём-то правы» в аргументации, последний — снижает избыточную цитируемость системного промпта и так далее.

Не все следуют примеру Anthropic. Часть компаний намеренно пытается скрыть системный промпт. Чтобы всё же «достать» его из недр приложения, иногда нужны джейлбрейки и запутывание, чтобы БЯМ нарушила собственные правила. Поэтому системные промпты популярных чат-ботов всё равно известны. Ознакомиться с ними полезно для анализа поведения этих ботов. Например, некоторые связывают изменение качества ответов с длиной системного промпта.

На конференции WWDC этого 2024 года компания Apple представила собственную концепцию персонализированного искусственного интеллекта Apple Intelligence. Разнообразные функции ИИ должны появиться на операционных системах iOS 18, iPadOS 18 и macOS 15 Sequoia, полноценный релиз которых запланирован этой осенью. Однако с превью-версиями этих продуктов уже можно ознакомиться.

4 дня назад пользователь сайта Reddit с ником devanxd2000 опубликовал системные промпты Apple Intelligence. Их он достал из macOS 15.1 Beta 1. Как рассказывает реддитор, он ковырялся в системных файлах обновления и в каталоге /System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels наткнулся на несколько файлов JSON, содержимое которых выглядело как системные промпты.

devanxd2000 опубликовал пять скриншотов с текстом, похожим на системные промпты Apple Intelligence.

Первое изображение — инструкции вести себя как почтовый ассистент для обнаружения релевантных вопросов по содержимому письма. Вероятно, что это часть функции Smart Reply, в которой пользователю предлагается выбрать один из возможных ответов.

Схожая по направлению функция описана в третьем фрагменте. Текстовое описание выглядит похоже на то, что Apple называет функцией Rewrite, которая призвана выбрать правильный стиль электронного письма.

Любопытно, что инженеры Apple наивно просят БЯМ не галлюцинировать, будто модель делает это осознанно и вообще обладает пониманием подобных концепций и своего поведения. Под галлюцинациями в контексте БЯМ понимают генерацию такого нежелательного ответа, который фактически неверен, не имеет смысла или слабо учитывает данные на входе.

Издание Verge в своей статье о находках реддитора публикует ещё один скриншот [размещён до ката], где описана инструкция отвечать на письмо. Здесь опять встречается просьба не галлюцинировать и не изобретать факты.

Второй скриншот реддитора содержит системный промпт поведения агента по написанию краткого содержания сообщений. БЯМ просят не отвечать на вопросы в самих сообщениях и не выходить за 10 слов в ответе. Это тоже известная функция Apple Intelligence, которая в оповещениях заменяет множество уведомлений от мессенджера одним с кратким пересказом переписки.

В четвёртом случае речь идёт о системе генерации изображений по текстовому промпту. БЯМ в данном случае не рисует картинки, а отлавливает небезопасные промпты. Скриншот содержит просьбу указывать категорию нарушения.

Наконец, последний скриншот похож на инструкцию для функции Memories. Как описывает её Apple, по рассказу от человека искусственный интеллект подберёт из пользовательской медиабиблиотеки фото- и видеоматериалы, а затем составит из них фильм с собственным нарративом.

Apple обещает, что фотографии и видеоролики при этом остаются на устройстве пользователя и никуда не выгружаются. Действительно, как видно по структуре JSON этого промпта, БЯМ получает только некий текстовый массив данных assetDescriptionDict с описаниями медиаэлементов. Вероятно, некая модель «изображение в текст» для составления этих описаний запускается прямо на устройстве.

Авторы издания Verge нашли в файлах промпт для написания сюжета фильма. В требованиях к написанному произведению просят избегать релиогиозные, политические, злонамеренные, жестокие, сексуальные, грязные или в любом смысле негативные, грустные и провокационные темы.

Как утверждает статья издания Bloomberg, Apple Intelligence выйдет не раньше октября этого года.