ИИ-агент Codex получил визуальную память: OpenAI запустила Chronicle на Mac

от автора

OpenAI запустила Chronicle — экспериментальную опцию Codex для macOS, которая периодически делает скриншоты экрана пользователя, отправляет их на серверы компании для обработки и сохраняет результат как локальную «память» агента. Доступ получили подписчики ChatGPT Pro (от $100 в месяц); в ЕС, Великобритании и Швейцарии опция пока недоступна.

Работает Chronicle так: в фоне крутятся агенты, которые снимают экран. Картинки уходят на серверы OpenAI, где модель через OCR и визуальный анализ превращает их в текстовые саммари. Итоговые «воспоминания» падают в ~/.codex/memories_extensions/chronicle/ как обычные незашифрованные markdown-файлы. Сами скриншоты хранятся во временной папке и удаляются через 6 часов, пока Chronicle работает; OpenAI заверяет, что после обработки картинки не остаются на серверах и не используются для обучения.

Неделей ранее OpenAI уже запустила для Codex текстовую память — она собиралась из истории диалогов с агентом: предпочтения пользователя, правки, ручные пояснения контекста. Chronicle достраивает второй слой — фиксирует, что пользователь делает сам, вне разговора с Codex: какой файл открыт в редакторе, какой дашборд на экране, в каком Slack-треде идет обсуждение. Это дает модели возможность ответить на «почему это падает» без уточнений или догадаться, какого именно «Романа» искать в Slack.

В собственной документации OpenAI честно перечисляет риски. Chronicle быстро расходует лимиты подписки, повышает риск prompt injection — атак, когда вредоносные инструкции на открытой странице агент может прочитать и выполнить, — а память хранится в незашифрованном виде на диске. В OpenAI советуют ставить опцию на паузу перед встречами и работой с чувствительной информацией, и предупреждают, что доступ к файлам памяти имеет любая другая программа на компьютере.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.

ссылка на оригинал статьи https://habr.com/ru/articles/1025874/