OpenAI выпустила для Codex функцию Record & Replay: пользователь один раз показывает агенту рабочий процесс на Mac, а тот превращает его в переиспользуемый скилл и в дальнейшем выполняет задачу сам. Вместо того чтобы расписывать инструкцию в промпте, достаточно один раз продемонстрировать, что нужно сделать.
Во время записи Codex фиксирует действия пользователя и содержимое окон. После остановки записи языковая модель разбирает последовательность шагов и составляет файл SKILL.md — инструкцию на естественном языке, которая описывает весь процесс. Готовый скилл можно запускать поверх режима Computer Use, действий в браузере и подключенных плагинов. В демонстрации OpenAI Codex таким образом научился выкладывать видео на YouTube — выбирать файл, заполнять заголовок и описание, ставить обложку и подгружать субтитры.
Главное отличие от классических RPA-инструментов в том, что Codex не запоминает координаты кликов, а формирует текстовую инструкцию, которую затем интерпретирует рассуждающая модель. Благодаря этому скилл можно применять к новым данным и свежему состоянию приложения, а не воспроизводить жестко записанную цепочку действий, которая ломается при малейшем изменении интерфейса. Записанным навыком можно поделиться с командой, и он превращается в готовую автоматизацию.
Record & Replay пока работает только на macOS и доступна подписчикам ChatGPT Plus, Pro, Business, Enterprise и Edu — за исключением Европейской экономической зоны, Великобритании и Швейцарии. Это уже классическая для OpenAI схема запуска, когда Windows и новые страны добавляют позднее. Для работы функции у пользователя должен быть включен режим Computer Use.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1050182/