GPT-5.6: передовой интеллект, который растёт вместе с вашими амбициями

от автора

Эта статья — перевод оригинальной статьи «GPT-5.6: Frontier intelligence that scales with your ambition».

Также я веду телеграм канал «Frontend по‑флотски», где рассказываю про интересные вещи из мира разработки интерфейсов и AI.

Самые полезные MCP и скиллы для фронтенд разработки можешь найти в этом посте.

Вступление

Заранее извиняюсь за «gpt 5 целых 6 десятых» в видео, буду работать над качеством перевода

Мы запускаем семейство моделей GPT-5.6 в общий доступ после ограниченного предварительного тестирования: наш новый флагман Sol, сбалансированную модель для повседневной работы Terra и Luna — нашу самую экономичную модель.

GPT-5.6 Sol задаёт новый стандарт одновременно в интеллекте и эффективности: модель показывает лучшие в своём классе результаты в программировании, работе со знаниями, кибербезопасности и науке, превосходя предыдущие и конкурирующие передовые модели при меньшем числе токенов и более низкой расчётной стоимости. В итоге пользователи получают более высокую отдачу на каждый потраченный доллар: больше успешно выполненной работы за тот же бюджет или сопоставимые результаты при меньших общих затратах. Мы также представляем новый способ ускорить самые сложные задачи: ultra — наш режим максимальных возможностей, который координирует несколько агентов в параллельных рабочих потоках, чтобы быстрее завершать комплексные проекты. Более уверенное использование компьютера и более точное дизайнерское чутьё делают GPT-5.6 Sol нашим самым отточенным партнёром на сегодняшний день: модель помогает проверять, дорабатывать и выдавать готовые к использованию результаты.

Мы обучали GPT-5.6 так, чтобы извлекать больше полезной работы из каждого токена. В бенчмарке Agents’ Last Exam, оценивающем длительные профессиональные рабочие процессы в 55 областях, GPT-5.6 Sol устанавливает новый рекорд — 53,6 балла, опережая Claude Fable 5 с адаптивным рассуждением на 13,1 балла. Даже в режиме среднего уровня рассуждений Sol превосходит Fable 5 на 11,4 балла примерно за четверть расчётной стоимости. Эта эффективность распространяется и на меньшие модели, которые критически важны для того, чтобы сделать интеллект более доступным и массовым: GPT-5.6 Terra и GPT-5.6 Luna превосходят Fable 5 примерно за одну шестнадцатую его стоимости. В Artificial Analysis Intelligence Index — широком показателе интеллекта, охватывающем агентную работу, программирование, научное рассуждение и общие способности, — GPT-5.6 Sol в режиме максимального рассуждения уступает Fable 5 менее чем на один балл, при этом выполняя задачи на 61% быстрее и примерно за половину расчётной стоимости.

Agents’ Last Exam

GPT-5.6 выходит с самыми надёжными на сегодняшний день мерами безопасности, рассчитанными на устойчивость к целенаправленному и адаптивному злоупотреблению — без чрезмерных ограничений для добросовестной работы. Перед запуском в общий доступ мы провели самый масштабный этап оценки моделей и защитных механизмов за всё время, сочетая ручной red teaming с автоматизированным тестированием в больших масштабах. Во время предварительного доступа мы тесно сотрудничали с экспертными организациями и проверенными партнёрами, чтобы испытать защиту под нагрузкой и усилить меры безопасности перед более широким запуском. Итоговая система объединяет защитные механизмы, встроенные в модель при обучении, с проверками в реальном времени, мониторингом и доступом, настроенным с учётом уровня доверия и риска.

Эффективность по умолчанию, максимальная производительность — по запросу

GPT-5.6 Sol — наша лучшая модель для программирования на сегодняшний день. В Artificial Analysis Coding Agent Index GPT-5.6 Sol в режиме максимального рассуждения устанавливает новый рекорд — 80 баллов, на 2,8 балла выше Fable 5, при этом используя менее половины выходных токенов, тратя менее половины времени и обходясь примерно на треть дешевле. Это преимущество сохраняется во всём семействе: Terra немного превосходит Fable 5, а Luna опережает Opus 4.8; обе модели делают это примерно за треть времени, с примерно вдвое меньшим числом выходных токенов и приблизительно за четверть расчётной стоимости. GPT-5.6 также показывает новые лучшие результаты на Terminal-Bench 2.1 и DeepSWE — бенчмарках, которые проверяют сложные workflows в командной строке и долгосрочную инженерную работу в реальных кодовых базах.

Artificial Analysis Coding Agent Index v1.1
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
Terminal-Bench 2.1
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
DeepSWE v1.1
Стоимость

Стоимость
Задеожка

Задеожка
Кол-во токенов на выходе

Кол-во токенов на выходе

GPT-5.6 умеет писать и запускать лёгкие программы, которые координируют инструменты, обрабатывают промежуточные результаты, отслеживают прогресс и выбирают следующий шаг по мере выполнения задачи. Благодаря этому задачи, активно использующие инструменты, продвигаются с меньшим числом токенов, меньшим количеством обращений к модели и меньшей потребностью в подсказках. Вместо того чтобы заставлять разработчиков вручную прописывать каждый шаг или каждый раз передавать ответ инструмента обратно в модель, Programmatic Tool Calling в Responses API может фильтровать большие объёмы промежуточных данных, сохранять только действительно важное и адаптировать рабочий процесс по ходу выполнения.

Для задач, где оправданы дополнительные затраты времени и вычислительных ресурсов, GPT-5.6 может выйти за рамки этой эффективной настройки по умолчанию. Режим max даёт GPT-5.6 ещё больше времени, чем xhigh, чтобы рассуждать, рассматривать альтернативы, выполнять проверки и пересматривать свой подход. ultra идёт ещё дальше: по умолчанию он координирует четыре агента параллельно, обменивая более высокий расход токенов на более сильные результаты и более быстрое получение ответа в сложных задачах. На графиках ниже сравнивается стандартная конфигурация ultra с четырьмя агентами и базовый вариант с одним агентом на BrowseComp, SEC-Bench Pro и Terminal-Bench 2.1; для BrowseComp и SEC-Bench Pro также показаны конфигурации с 16 агентами. Во всех трёх оценках добавление параллельных агентов смещает границу «качество — задержка» вверх и влево, позволяя достигать более сильных результатов за меньшее время. В API разработчики могут создавать похожие на ultra сценарии с помощью бета-версии multi-agent в Responses API.

BrowseComp (Multi-Agent)
Задрежка

Задрежка
Стоимость

Стоимость
Кол-во токенов на выходе

Кол-во токенов на выходе
SEC-Bench Pro (Multi-Agent)
Задержка

Задержка
Стоимость

Стоимость
Кол-во токенов на выходе

Кол-во токенов на выходе
Terminal-Bench 2.1 (Multi-Agent)
Задержка

Задержка
Стоимость

Стоимость
Кол-во токенов на выходе

Кол-во токенов на выходе

Качественный скачок в дизайне

GPT-5.6 демонстрирует качественно новый уровень дизайнерского мышления. Получив лишь общее направление, GPT-5.6 создаёт стильные, эргономичные и функциональные интерфейсы. Более сильные возможности работы с компьютером позволяют модели проверять и дорабатывать уже отрисованный результат, а не просто генерировать код или контент. Благодаря этому она может заметить визуальные и функциональные недочёты и довести работу до финального состояния, прежде чем передать её пользователю.

Скрытый текст

Frontend-возможности GPT-5.6 также позволяют превращать запросы на естественном языке в отполированные интерактивные объяснения и визуализации прямо внутри ChatGPT Work.

Интерактивный спирограф
Интерактивная интерференции волн
Интерактивное объяснение токенизатора GPT

Комплексная работа со знаниями

GPT-5.6 показывает более сильные результаты в профессиональных задачах. Он берёт разрозненный контекст из ваших документов и повседневных рабочих процессов — например, Slack, Notion, Microsoft 365 и Google Drive — и превращает его в экспертные материалы, которыми можно делиться.

Сильные стороны GPT-5.6 в работе со знаниями подтверждаются оценками, охватывающими долгосрочный профессиональный анализ, веб-поиск, использование инструментов и работу с компьютером. GPT-5.6 Sol устанавливает новые лучшие результаты на BrowseComp92,2% — и OSWorld 2.062,6%; на OSWorld он превосходит Opus 4.8, используя на 85% меньше выходных токенов. При этом прирост эффективности на доллар распространяется на всё семейство GPT-5.6. Luna почти достигает пиковой производительности GPT-5.5 при менее чем половине расчётной стоимости, а Terra превосходит её при более низкой стоимости.

BrowseComp
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
GDPval-AA v2
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
OSWorld 2.0
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
AutomationBench
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе

GPT-5.6 Sol повышает качество презентаций, документов и таблиц, создавая более отполированные и точные результаты. Он может с нуля создавать полностью редактируемые презентации, превращая запрос и исходные материалы в цельное визуальное повествование с сильной композицией, чёткой иерархией и продуманным дизайном.

Улучшение особенно заметно при работе с шаблонами и референсными презентациями. GPT-5.6 может распознавать дизайн-систему презентации — макеты, типографику, отступы, цвета и повторяющиеся паттерны контента, включая правила, заложенные в образце слайдов, — и последовательно применять эти принципы к новому материалу. В этом примере, когда модель попросили обновить числовые данные на основе референсного файла, в результате GPT-5.5 отсутствуют ключевые элементы из образца слайда, тогда как GPT-5.6 значительно точнее следует структуре референса.

Референсный файл

Результат GPT-5.5

Результат GPT-5.6

Продвигая границы возможного в кибербезопасности и науке

GPT-5.6 — наша самая сильная на сегодняшний день модель для кибербезопасности, достигающая передового уровня результатов при значительно меньшем числе токенов. На ExploitBench2, который измеряет путь от обнаружения уязвимого кода до произвольного выполнения кода, модель набирает 73,5% против 47,9% у GPT-5.5 при сопоставимом бюджете выходных токенов. На ExploitGym3, где агентам нужно превращать реальные уязвимости в рабочие эксплойты, GPT-5.6 почти удваивает пиковую долю успешных прохождений GPT-5.5 — с 15,1% до 24,9% в пределах двухчасового лимита; при шести часах она достигает 33,7%. На SEC-Bench Pro, который проверяет генерацию proof-of-concept для сложного ПО, модель набирает 71,2% против 45,8% у GPT-5.5 при улучшенной задержке.

GPT-5.6 поддерживает важные защитные задачи: безопасный ревью кода, исправление уязвимостей, моделирование угроз и blue teaming. Квалифицированные специалисты и организации в программе OpenAI Daybreak’s Trusted Access for Cyber могут получить доступ к более широким защитным возможностям модели благодаря более точным мерам безопасности для проверенной работы в авторизованных средах, включая триаж и валидацию уязвимостей, анализ вредоносного ПО, разработку детектов и проверку патчей.

Частные лица могут подтвердить личность и запросить доверенный доступ, а организации — подать заявку для своих команд. Индивидуальным участникам потребуется включить Advanced Account Security с аппаратно защищёнными passkeys до 1 сентября, чтобы сохранить доступ к нашим самым сильным frontier-моделям для кибербезопасности; те, кто этого не сделает, вернутся к стандартному уровню доступа. Пользователи, у которых ещё нет аппаратно защищённых passkeys, могут получить специальные условия от нашего партнёра Yubico. Мы также предпринимаем дополнительные меры, чтобы ограничить доступ для высокорисковых субъектов и в юрисдикциях повышенного риска.

ExploitBench
Стоимость

Стоимость
Кол-во токенов на выходе

Кол-во токенов на выходе
ExploitGym
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
SEC-Bench Pro
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
Capture-the-Flag Challenges
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе

GPT-5.6 Sol также показывает широкий прогресс в научных исследованиях. В оценках по наукам о жизни GPT-5.6 демонстрирует Парето-улучшения по сравнению с GPT-5.5 в задачах реальной биологии, исследовательских workflows в life sciences и химии.

GeneBench Pro
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
LifeSciBench
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
MedChemBench
Стоиомсть

Стоиомсть
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе

GPT-5.6 ускоряет работу OpenAI

GPT-5.6 — наша самая сильная модель на сегодняшний день для ускорения исследований в области ИИ. Внутри OpenAI исследователи используют её на всех этапах разработки: для диагностики сбоев, оптимизации обучающих систем, запуска экспериментов и интерпретации результатов. Уже во время внутреннего тестирования GPT-5.6 мы увидели это ускорение и более активное внедрение: среднесуточное число выходных токенов на одного активного исследователя более чем вдвое превысило максимальный уровень, наблюдавшийся у GPT-5.5.

Такой формат работы быстро становится стандартом. За последние шесть месяцев доля исследовательских вычислительных ресурсов, направляемых на внутренний coding inference, выросла в 100 раз, а внутреннее использование агентных токенов увеличилось примерно в 22 раза. Эти показатели внедрения сами по себе не измеряют научный прогресс, но они показывают, насколько быстро растёт роль ИИ-помощи в исследованиях и в других командах — продажах, маркетинге, пользовательских операциях, финансах и не только.

Чтобы напрямую измерить эту способность, мы разработали внутренний набор оценок на основе реальных задач AI-исследований, включая отладку исследовательских систем, оптимизацию ядер и рецептов обучения, запуск экспериментов в машинном обучении и улучшение другой модели.

RSI Index
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
Internal Research Debugging Evaluation
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
KernelGen 1P
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе
NanoGPT
Стоимость

Стоимость
Задержка

Задержка
Кол-во токенов на выходе

Кол-во токенов на выходе

Масштабирование безопасности и защиты вместе с ростом возможностей

По мере роста возможностей моделей мы усиливаем наш стек безопасности, чтобы продвинутый интеллект оставался широко полезным, но при этом к наиболее рискованным сценариям применялась более строгая проверка. Для GPT-5.6 мы создали нашу самую надёжную на сегодняшний день систему безопасности, настроенную под возможности каждой модели и использующую больше вычислительных ресурсов, чем когда-либо прежде.

Модели GPT-5.6 более способны, чем наши предыдущие модели, как в биологии, так и в кибербезопасности, но ни в одной из этих категорий не пересекают порог Critical. В кибербезопасности наше тестирование показывает, что GPT-5.6 лучше справляется с поиском и исправлением уязвимостей, чем с надёжным проведением автономных end-to-end атак на защищённые цели. Это даёт защитникам возможность усилить системы до того, как слабые места будут использованы. В биологии наши тесты показывают, что GPT-5.6 может поддерживать легитимные исследования, но не обладает end-to-end возможностями, необходимыми для создания, инженерного проектирования или синтеза крайне опасной новой угрозы.

Обе области по своей природе имеют двойное назначение. В кибербезопасности одни и те же возможности, которые могут помочь злоумышленнику использовать уязвимость, могут помочь защитнику найти её, воспроизвести и разработать надёжное исправление. Поэтому чрезмерная блокировка сама по себе создаёт риск для безопасности. Она может мешать защитникам тестировать системы и разворачивать патчи, тогда как злоумышленники продолжают пользоваться другими моделями, включая всё более мощные open-source модели, а также уже существующими инструментами. Эффективные меры безопасности учитывают контекст и вероятные последствия запроса, сохраняя возможность легитимной защитной работы и применяя более строгие ограничения там, где данные указывают на серьёзный риск вреда.

Защитные механизмы GPT-5.6 построены слоями — для большей точности и избыточности — и рассчитаны на быструю адаптацию по мере появления новых атак. Защиты, встроенные в модель при обучении, работают вместе с проверками в реальном времени, непрерывным мониторингом и контролем на уровне аккаунта, помогая системе оставаться безопасной даже тогда, когда отдельный слой срабатывает не так, как ожидалось. Во многих системах решение о блокировке принимается только по флагам классификаторов, которые полагаются на менее интеллектуальные модели, менее гибкие в изменении, чтобы предотвращать вред. Наш подход добавляет reasoning monitor — монитор рассуждений, который анализирует диалог и определяет, есть ли потенциальный риск вреда. Такая архитектура призвана разрешать защитную работу, одновременно блокируя серьёзные злоупотребления, а самые чувствительные возможности оставлять только проверенным пользователям через Trusted Access. Поскольку часть защит использует рассуждение на этапе выполнения, мы можем быстро обновлять их и закрывать пробелы без необходимости заново обучать классификаторы с нуля.

Мы придерживаемся более консервативного подхода, пока продолжаем усиливать систему против адаптивных атак. По сравнению с предыдущими моделями киберзащиты GPT-5.6 Sol блокируют примерно в десять раз больше потенциально вредной активности. Поскольку такие меры могут создавать трение для добросовестных пользователей, в ChatGPT и Codex мы даём возможность легко повторить запрос на менее мощных моделях. Мы продолжим снижать влияние защитных механизмов на безвредные сценарии, сохраняя высокий уровень устойчивости. Это отражает наш итеративный подход к развёртыванию: начинать консервативно и улучшать систему по мере того, как мы учимся на реальном использовании.

Перед запуском в общий доступ мы провели самые интенсивные оценки безопасности на сегодняшний день, включая масштабный red teaming, тщательное тестирование возможностей и защитных механизмов с внешними экспертами, а также около 700 000 GPU-часов A100e black-box автоматизированного red teaming. Это позволило нам системно проверять вероятные слабые места, находить jailbreak-атаки и усиливать систему до запуска.

Идеальной безопасности не существует, и наша работа по защите всё более способных моделей продолжается. Будут обнаруживаться новые слабые места, как и новые jailbreak-методы, обходящие существующие защитные механизмы. Каждое новое поколение моделей также будет создавать новые векторы атак и злоупотреблений. Мы строим систему с учётом этой реальности: через многоуровневые защиты, непрерывный мониторинг, быстрое устранение проблем и сотрудничество с defensive-сообществом. Для GPT-5.6 мы дополнили наши существующие программы bug bounty по безопасности и биологии новым процессом быстрого исправления проблем и самой сильной на сегодняшний день системой мониторинга. Находки исследователей, результаты мониторинга и случаи реального злоупотребления будут постоянно использоваться для новых оценок и усиления защитных механизмов.

Подробнее о наших мерах безопасности можно прочитать в обновлённой system card GPT-5.6.

Доступность и цены

GPT-5.6 включает три уровня моделей: Sol — наш флагман; Terra — более доступная по стоимости модель с производительностью на уровне GPT-5.5; и Luna — наша самая быстрая и недорогая модель. Число обозначает поколение, а Sol, Terra и Luna — это устойчивые уровни возможностей, которые могут развиваться в собственном темпе.

GPT-5.6 доступна с сегодняшнего дня в ChatGPT, Codex и OpenAI API. Глобальное развёртывание уже началось и будет постепенно продолжаться до полной доступности в течение ближайших 24 часов.

  • Chat: пользователи Plus, Pro, Business и Enterprise получают доступ к GPT-5.6 Sol через настройки усилия от medium и выше. Пользователи Pro и Enterprise также могут выбрать GPT-5.6 Sol Pro для результатов максимального качества в сложных задачах.

  • ChatGPT Work и Codex: пользователи Free и Go получают доступ к GPT-5.6 Terra. Пользователи Plus, Pro, Business и Enterprise могут выбирать между GPT-5.6 Sol, Terra и Luna и задавать уровень усилия для каждой модели. max доступен всем пользователям с доступом к GPT-5.6 в ChatGPT Work и Codex; его можно включить в настройках. В ChatGPT Work режим ultra доступен пользователям Pro и Enterprise. В Codex он доступен на тарифах Plus и выше.

  • API: разработчики могут использовать Sol, Terra и Luna через OpenAI API. В Responses API функция Programmatic Tool Calling позволяет GPT-5.6 писать и запускать программы в памяти, которые координируют инструменты и обрабатывают промежуточные результаты, что делает её совместимой с Zero Data Retention (ZDR). Multi-agent, изначально доступный в бета-версии, позволяет GPT-5.6 запускать параллельных субагентов и объединять их работу в рамках одного запроса.

GPT-5.6 тарифицируется за 1 млн токенов в трёх размерах моделей: Sol — $5 за входные токены и $30 за выходные; Terra — $2,50 за входные и $15 за выходные; Luna — $1 за входные и $6 за выходные. GPT-5.6 также вводит более предсказуемое кэширование промптов, включая поддержку явных точек разрыва кэша и минимальный срок жизни кэша в 30 минут. Для GPT-5.6 и более новых моделей запись в кэш оплачивается по ставке 1,25× от некэшированной стоимости входных токенов модели, а чтение из кэша по-прежнему получает скидку 90% на кэшированные входные токены.

Professional

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

Gemini 3.5 Flash

Agents’ Last Exam

52.7%

50.4%

50.3%

46.9%

40.5%

45.2%

32.1%

GDPval-AA v2

1,747.8 Elo

1,593 Elo

1,591.8 Elo

1,493.7 Elo

1,759.6 Elo

1,600.1 Elo

962.3 Elo

1,348.8 Elo

Management Consulting Tasks (Internal)

43.2%

37.2%

35.4%

31.3%

35.5%

31.6%

13.2%

Big Finance Bench

53%

51%

36%

49%

44%

Artificial Analysis Intelligence Index v4.1

58.9 Index score

55 Index score

51.2 Index score

54.8 Index score

59.9 Index score

55.7 Index score

46.5 Index score

50.2 Index score

Coding

Eval

GPT‑5.6 Sol

GPT‑5.6 Sol Ultra

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

Artificial Analysis Coding Agent Index v1.1

80 Index score

77.4 Index score

74.6 Index score

76.4 Index score

77.2 Index score

72.5 Index score

42.7 Index score

SWE-Bench Pro

64.6%

63.4%

62.7%

59.4%

80.3%

77.8%

80%

69.2%

54.2%

DeepSWE v1.1

72.7%

69.6%

67.2%

67%

69.7%

59%

11.8%

Terminal-Bench 2.1

88.8%

91.9%

87.4%

84.7%

85.6%

88%

83.1%

78.9%

70.7%

Наука и здоровье

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

Gemini 3.5 Flash

GeneBench Pro

28.7%

23.3%

10.8%

12%

16%

3.1%

8.14%

LifeSciBench

59.9%

56%

51.2%

50.4%

53.6%

MedChemBench (Internal)

48.3%

35%

30.4%

35.5%

HealthBench Professional⁶

60.5%

57.7%

55.7%

49.5%

60.9%

53%

Работа с компьютером

Eval

GPT‑5.6 Sol

GPT‑5.6 Sol Ultra

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Opus 4.8

Gemini 3.1 Pro Preview

OSWorld 2.0

62.6%

50.2%

45.6%

47.5%

54.8%

BrowseComp

90.4%

92.2%

87.5%

83.3%

84.4%

88%

87.9%

84.3%

85.9%

BenchCAD

70.6%

62.3%

63.1%

44.4%

38.4%

35.5%

27.3%

BenchCAD (python tool)

83.4%

78.2%

73.9%

55.8%

65%

61%

51.8%

Кибербезопасность

Eval

GPT‑5.6 Sol

GPT‑5.6 Sol Ultra

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Opus 4.8

Capture-the-Flag Challenges

96.7%

91.8%

85.2%

88.1%

SEC-Bench Pro

71.2%

74.3%

57.7%

48.9%

45.8%

CyberGym

84.5%

81.8%

77.9%

81.8%

83.8%

83%

78.1%

ExploitBench

73.5%

52.9%

33.2%

47.9%

78%

74.2%

40%

ExploitGym

33.7%

23.2%

12.4%

15.1%

Самоулучшение

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Internal Research Debugging Evaluation

68.3%

67.8%

50.8%

50%

KernelGen 1P

61.1%

49.2%

22.4%

29.3%

NanoGPT

9.69%

14.5%

1.66%

2.65%

PostTrainBench Lite

50.3%

51.5%

29.6%

38.8%

RSI Index

57.9%

56.3%

41.9%

41.7%

Мультимодальность

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

MMMU Pro (no tools)

83%

80.7%

78.4%

81.2%

80.5%

MMMU Pro (with tools)

84.6%

82%

79.5%

83.2%

gdp.pdf

30.7%

24.7%

22.7%

26%

29.8%

22.5%

16.7%

Академические задачи

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

GPQA Diamond

94.6%

92.9%

92.3%

93.6%

94.1%

94.6%

92.6%

92%

94.3%

FrontierMath Tier 1-3 (v2)

89%

84.9%

78.6%

85.3%

87%

80%

59.6%

FrontierMath Tier 4 (v2)

83%

68.3%

58.5%

72.5%

87.8%

56.1%

Использование инструментов

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Fable 5

Claude Opus 4.8

Gemini 3.1 Pro Preview

Gemini 3.5 Flash

AutomationBench

18.1%

15.2%

14.9%

12.9%

17.4%

15.5%

14.5%

Toolathlon

58%

53.1%

53.4%

55.6%

61.7%

61.1%

61.7%

59.9%

48.8%

Длинный контекст

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Mythos 5

Claude Mythos Preview

Claude Opus 4.8

OpenAI MRCR v2 8-needle 256K-512K

91.5%

89.6%

41.3%

81.5%

OpenAI MRCR v2 8-needle 512K-1M

73.8%

72.5%

41.3%

74%

GraphWalks BFS 256k f1

90.7%

76.9%

81.3%

73.7%

91.1%

85.7%

85.9%

GraphWalks BFS 1mil f1

77.1%

71.2%

51.2%

45.4%

79.4%

74.3%

68.1%

Абстрактное мышление

Eval

GPT‑5.6 Sol

GPT‑5.6 Terra

GPT‑5.6 Luna

GPT‑5.5

Claude Opus 4.8

Gemini 3.1 Pro Preview

ARC-AGI-3⁷

7.78%

0.8%

0.18%

0.43%

1.5%

0.42%

Заметки

  1. Кибервозможности оцениваются с ослабленными защитными механизмами. Пользователи могут присоединиться к программе OpenAI Daybreak’s Trusted Access for Cyber, чтобы получить расширенный доступ к защитным возможностям в области кибербезопасности.

  2. Все модели оцениваются с помощью ExploitBench API harness с 5 seed-запусками и сохранением непрерывности рассуждения.

  3. Мы запускали ExploitGym на нашем alpha API, который выдаёт ответы быстрее, чем публичный API, а затем масштабировали результаты, чтобы привести их к скорости публичного API. При пересчёте задержек к скоростям, ожидаемым для публичного API, некоторые оценочные задержки превышают двух- и шестичасовые лимиты, хотя в самом оценочном запуске эти ограничения соблюдались корректно. Для более высокой скорости в задачах, чувствительных ко времени, мы предлагаем priority processing в API и fast mode в Codex.

  4. Мы оцениваем задержку и стоимость API, анализируя production-поведение наших моделей и моделируя его офлайн. Эти оценки учитывают детали вызовов инструментов, сэмплированные токены и входные токены. Реальные результаты могут существенно отличаться и зависят от множества факторов, не отражённых в нашей симуляции. Задержку мы моделируем на скоростях fast API, а стоимость — по обычным тарифам API.

  5. Модели, для которых не указаны выходные токены, задержка или стоимость, отображаются как горизонтальные пунктирные линии.

  6. Для multi-agent задержка рассчитывается по корневому агенту, тогда как общее число выходных токенов и стоимость API включают токены всех агентов. Ultra запускается с 4 агентами.

  7. Мы рассчитываем результаты по официальной методике оценки, описанной в статье HealthBench Professional; эти результаты не сопоставимы с теми, что приводятся в system cards Anthropic.

  8. ARC-AGI-3 для Opus 4.8 запускался на high, а не на max reasoning effort, поскольку это единственный опубликованный результат ARC-AGI-3.

ссылка на оригинал статьи https://habr.com/ru/articles/1057684/