Эта статья — перевод оригинальной статьи «GPT-5.6: Frontier intelligence that scales with your ambition».
Также я веду телеграм канал «Frontend по‑флотски», где рассказываю про интересные вещи из мира разработки интерфейсов и AI.
Самые полезные MCP и скиллы для фронтенд разработки можешь найти в этом посте.
Вступление
Заранее извиняюсь за «gpt 5 целых 6 десятых» в видео, буду работать над качеством перевода
Мы запускаем семейство моделей GPT-5.6 в общий доступ после ограниченного предварительного тестирования: наш новый флагман Sol, сбалансированную модель для повседневной работы Terra и Luna — нашу самую экономичную модель.
GPT-5.6 Sol задаёт новый стандарт одновременно в интеллекте и эффективности: модель показывает лучшие в своём классе результаты в программировании, работе со знаниями, кибербезопасности и науке, превосходя предыдущие и конкурирующие передовые модели при меньшем числе токенов и более низкой расчётной стоимости. В итоге пользователи получают более высокую отдачу на каждый потраченный доллар: больше успешно выполненной работы за тот же бюджет или сопоставимые результаты при меньших общих затратах. Мы также представляем новый способ ускорить самые сложные задачи: ultra — наш режим максимальных возможностей, который координирует несколько агентов в параллельных рабочих потоках, чтобы быстрее завершать комплексные проекты. Более уверенное использование компьютера и более точное дизайнерское чутьё делают GPT-5.6 Sol нашим самым отточенным партнёром на сегодняшний день: модель помогает проверять, дорабатывать и выдавать готовые к использованию результаты.
Мы обучали GPT-5.6 так, чтобы извлекать больше полезной работы из каждого токена. В бенчмарке Agents’ Last Exam, оценивающем длительные профессиональные рабочие процессы в 55 областях, GPT-5.6 Sol устанавливает новый рекорд — 53,6 балла, опережая Claude Fable 5 с адаптивным рассуждением на 13,1 балла. Даже в режиме среднего уровня рассуждений Sol превосходит Fable 5 на 11,4 балла примерно за четверть расчётной стоимости. Эта эффективность распространяется и на меньшие модели, которые критически важны для того, чтобы сделать интеллект более доступным и массовым: GPT-5.6 Terra и GPT-5.6 Luna превосходят Fable 5 примерно за одну шестнадцатую его стоимости. В Artificial Analysis Intelligence Index — широком показателе интеллекта, охватывающем агентную работу, программирование, научное рассуждение и общие способности, — GPT-5.6 Sol в режиме максимального рассуждения уступает Fable 5 менее чем на один балл, при этом выполняя задачи на 61% быстрее и примерно за половину расчётной стоимости.
GPT-5.6 выходит с самыми надёжными на сегодняшний день мерами безопасности, рассчитанными на устойчивость к целенаправленному и адаптивному злоупотреблению — без чрезмерных ограничений для добросовестной работы. Перед запуском в общий доступ мы провели самый масштабный этап оценки моделей и защитных механизмов за всё время, сочетая ручной red teaming с автоматизированным тестированием в больших масштабах. Во время предварительного доступа мы тесно сотрудничали с экспертными организациями и проверенными партнёрами, чтобы испытать защиту под нагрузкой и усилить меры безопасности перед более широким запуском. Итоговая система объединяет защитные механизмы, встроенные в модель при обучении, с проверками в реальном времени, мониторингом и доступом, настроенным с учётом уровня доверия и риска.
Эффективность по умолчанию, максимальная производительность — по запросу
GPT-5.6 Sol — наша лучшая модель для программирования на сегодняшний день. В Artificial Analysis Coding Agent Index GPT-5.6 Sol в режиме максимального рассуждения устанавливает новый рекорд — 80 баллов, на 2,8 балла выше Fable 5, при этом используя менее половины выходных токенов, тратя менее половины времени и обходясь примерно на треть дешевле. Это преимущество сохраняется во всём семействе: Terra немного превосходит Fable 5, а Luna опережает Opus 4.8; обе модели делают это примерно за треть времени, с примерно вдвое меньшим числом выходных токенов и приблизительно за четверть расчётной стоимости. GPT-5.6 также показывает новые лучшие результаты на Terminal-Bench 2.1 и DeepSWE — бенчмарках, которые проверяют сложные workflows в командной строке и долгосрочную инженерную работу в реальных кодовых базах.
Artificial Analysis Coding Agent Index v1.1
Terminal-Bench 2.1
DeepSWE v1.1
GPT-5.6 умеет писать и запускать лёгкие программы, которые координируют инструменты, обрабатывают промежуточные результаты, отслеживают прогресс и выбирают следующий шаг по мере выполнения задачи. Благодаря этому задачи, активно использующие инструменты, продвигаются с меньшим числом токенов, меньшим количеством обращений к модели и меньшей потребностью в подсказках. Вместо того чтобы заставлять разработчиков вручную прописывать каждый шаг или каждый раз передавать ответ инструмента обратно в модель, Programmatic Tool Calling в Responses API может фильтровать большие объёмы промежуточных данных, сохранять только действительно важное и адаптировать рабочий процесс по ходу выполнения.
Для задач, где оправданы дополнительные затраты времени и вычислительных ресурсов, GPT-5.6 может выйти за рамки этой эффективной настройки по умолчанию. Режим max даёт GPT-5.6 ещё больше времени, чем xhigh, чтобы рассуждать, рассматривать альтернативы, выполнять проверки и пересматривать свой подход. ultra идёт ещё дальше: по умолчанию он координирует четыре агента параллельно, обменивая более высокий расход токенов на более сильные результаты и более быстрое получение ответа в сложных задачах. На графиках ниже сравнивается стандартная конфигурация ultra с четырьмя агентами и базовый вариант с одним агентом на BrowseComp, SEC-Bench Pro и Terminal-Bench 2.1; для BrowseComp и SEC-Bench Pro также показаны конфигурации с 16 агентами. Во всех трёх оценках добавление параллельных агентов смещает границу «качество — задержка» вверх и влево, позволяя достигать более сильных результатов за меньшее время. В API разработчики могут создавать похожие на ultra сценарии с помощью бета-версии multi-agent в Responses API.
BrowseComp (Multi-Agent)
SEC-Bench Pro (Multi-Agent)
Terminal-Bench 2.1 (Multi-Agent)
Качественный скачок в дизайне
GPT-5.6 демонстрирует качественно новый уровень дизайнерского мышления. Получив лишь общее направление, GPT-5.6 создаёт стильные, эргономичные и функциональные интерфейсы. Более сильные возможности работы с компьютером позволяют модели проверять и дорабатывать уже отрисованный результат, а не просто генерировать код или контент. Благодаря этому она может заметить визуальные и функциональные недочёты и довести работу до финального состояния, прежде чем передать её пользователю.
Скрытый текст
Frontend-возможности GPT-5.6 также позволяют превращать запросы на естественном языке в отполированные интерактивные объяснения и визуализации прямо внутри ChatGPT Work.
Интерактивный спирограф
Интерактивная интерференции волн
Интерактивное объяснение токенизатора GPT
Комплексная работа со знаниями
GPT-5.6 показывает более сильные результаты в профессиональных задачах. Он берёт разрозненный контекст из ваших документов и повседневных рабочих процессов — например, Slack, Notion, Microsoft 365 и Google Drive — и превращает его в экспертные материалы, которыми можно делиться.
Сильные стороны GPT-5.6 в работе со знаниями подтверждаются оценками, охватывающими долгосрочный профессиональный анализ, веб-поиск, использование инструментов и работу с компьютером. GPT-5.6 Sol устанавливает новые лучшие результаты на BrowseComp — 92,2% — и OSWorld 2.0 — 62,6%; на OSWorld он превосходит Opus 4.8, используя на 85% меньше выходных токенов. При этом прирост эффективности на доллар распространяется на всё семейство GPT-5.6. Luna почти достигает пиковой производительности GPT-5.5 при менее чем половине расчётной стоимости, а Terra превосходит её при более низкой стоимости.
BrowseComp
GDPval-AA v2
OSWorld 2.0
AutomationBench
GPT-5.6 Sol повышает качество презентаций, документов и таблиц, создавая более отполированные и точные результаты. Он может с нуля создавать полностью редактируемые презентации, превращая запрос и исходные материалы в цельное визуальное повествование с сильной композицией, чёткой иерархией и продуманным дизайном.
Улучшение особенно заметно при работе с шаблонами и референсными презентациями. GPT-5.6 может распознавать дизайн-систему презентации — макеты, типографику, отступы, цвета и повторяющиеся паттерны контента, включая правила, заложенные в образце слайдов, — и последовательно применять эти принципы к новому материалу. В этом примере, когда модель попросили обновить числовые данные на основе референсного файла, в результате GPT-5.5 отсутствуют ключевые элементы из образца слайда, тогда как GPT-5.6 значительно точнее следует структуре референса.
Референсный файл

Результат GPT-5.5

Результат GPT-5.6

Продвигая границы возможного в кибербезопасности и науке
GPT-5.6 — наша самая сильная на сегодняшний день модель для кибербезопасности, достигающая передового уровня результатов при значительно меньшем числе токенов. На ExploitBench2, который измеряет путь от обнаружения уязвимого кода до произвольного выполнения кода, модель набирает 73,5% против 47,9% у GPT-5.5 при сопоставимом бюджете выходных токенов. На ExploitGym3, где агентам нужно превращать реальные уязвимости в рабочие эксплойты, GPT-5.6 почти удваивает пиковую долю успешных прохождений GPT-5.5 — с 15,1% до 24,9% в пределах двухчасового лимита; при шести часах она достигает 33,7%. На SEC-Bench Pro, который проверяет генерацию proof-of-concept для сложного ПО, модель набирает 71,2% против 45,8% у GPT-5.5 при улучшенной задержке.
GPT-5.6 поддерживает важные защитные задачи: безопасный ревью кода, исправление уязвимостей, моделирование угроз и blue teaming. Квалифицированные специалисты и организации в программе OpenAI Daybreak’s Trusted Access for Cyber могут получить доступ к более широким защитным возможностям модели благодаря более точным мерам безопасности для проверенной работы в авторизованных средах, включая триаж и валидацию уязвимостей, анализ вредоносного ПО, разработку детектов и проверку патчей.
Частные лица могут подтвердить личность и запросить доверенный доступ, а организации — подать заявку для своих команд. Индивидуальным участникам потребуется включить Advanced Account Security с аппаратно защищёнными passkeys до 1 сентября, чтобы сохранить доступ к нашим самым сильным frontier-моделям для кибербезопасности; те, кто этого не сделает, вернутся к стандартному уровню доступа. Пользователи, у которых ещё нет аппаратно защищённых passkeys, могут получить специальные условия от нашего партнёра Yubico. Мы также предпринимаем дополнительные меры, чтобы ограничить доступ для высокорисковых субъектов и в юрисдикциях повышенного риска.
ExploitBench
ExploitGym
SEC-Bench Pro
Capture-the-Flag Challenges
GPT-5.6 Sol также показывает широкий прогресс в научных исследованиях. В оценках по наукам о жизни GPT-5.6 демонстрирует Парето-улучшения по сравнению с GPT-5.5 в задачах реальной биологии, исследовательских workflows в life sciences и химии.
GeneBench Pro
LifeSciBench
MedChemBench
GPT-5.6 ускоряет работу OpenAI
GPT-5.6 — наша самая сильная модель на сегодняшний день для ускорения исследований в области ИИ. Внутри OpenAI исследователи используют её на всех этапах разработки: для диагностики сбоев, оптимизации обучающих систем, запуска экспериментов и интерпретации результатов. Уже во время внутреннего тестирования GPT-5.6 мы увидели это ускорение и более активное внедрение: среднесуточное число выходных токенов на одного активного исследователя более чем вдвое превысило максимальный уровень, наблюдавшийся у GPT-5.5.
Такой формат работы быстро становится стандартом. За последние шесть месяцев доля исследовательских вычислительных ресурсов, направляемых на внутренний coding inference, выросла в 100 раз, а внутреннее использование агентных токенов увеличилось примерно в 22 раза. Эти показатели внедрения сами по себе не измеряют научный прогресс, но они показывают, насколько быстро растёт роль ИИ-помощи в исследованиях и в других командах — продажах, маркетинге, пользовательских операциях, финансах и не только.
Чтобы напрямую измерить эту способность, мы разработали внутренний набор оценок на основе реальных задач AI-исследований, включая отладку исследовательских систем, оптимизацию ядер и рецептов обучения, запуск экспериментов в машинном обучении и улучшение другой модели.
RSI Index
Internal Research Debugging Evaluation
KernelGen 1P
NanoGPT
Масштабирование безопасности и защиты вместе с ростом возможностей
По мере роста возможностей моделей мы усиливаем наш стек безопасности, чтобы продвинутый интеллект оставался широко полезным, но при этом к наиболее рискованным сценариям применялась более строгая проверка. Для GPT-5.6 мы создали нашу самую надёжную на сегодняшний день систему безопасности, настроенную под возможности каждой модели и использующую больше вычислительных ресурсов, чем когда-либо прежде.
Модели GPT-5.6 более способны, чем наши предыдущие модели, как в биологии, так и в кибербезопасности, но ни в одной из этих категорий не пересекают порог Critical. В кибербезопасности наше тестирование показывает, что GPT-5.6 лучше справляется с поиском и исправлением уязвимостей, чем с надёжным проведением автономных end-to-end атак на защищённые цели. Это даёт защитникам возможность усилить системы до того, как слабые места будут использованы. В биологии наши тесты показывают, что GPT-5.6 может поддерживать легитимные исследования, но не обладает end-to-end возможностями, необходимыми для создания, инженерного проектирования или синтеза крайне опасной новой угрозы.
Обе области по своей природе имеют двойное назначение. В кибербезопасности одни и те же возможности, которые могут помочь злоумышленнику использовать уязвимость, могут помочь защитнику найти её, воспроизвести и разработать надёжное исправление. Поэтому чрезмерная блокировка сама по себе создаёт риск для безопасности. Она может мешать защитникам тестировать системы и разворачивать патчи, тогда как злоумышленники продолжают пользоваться другими моделями, включая всё более мощные open-source модели, а также уже существующими инструментами. Эффективные меры безопасности учитывают контекст и вероятные последствия запроса, сохраняя возможность легитимной защитной работы и применяя более строгие ограничения там, где данные указывают на серьёзный риск вреда.
Защитные механизмы GPT-5.6 построены слоями — для большей точности и избыточности — и рассчитаны на быструю адаптацию по мере появления новых атак. Защиты, встроенные в модель при обучении, работают вместе с проверками в реальном времени, непрерывным мониторингом и контролем на уровне аккаунта, помогая системе оставаться безопасной даже тогда, когда отдельный слой срабатывает не так, как ожидалось. Во многих системах решение о блокировке принимается только по флагам классификаторов, которые полагаются на менее интеллектуальные модели, менее гибкие в изменении, чтобы предотвращать вред. Наш подход добавляет reasoning monitor — монитор рассуждений, который анализирует диалог и определяет, есть ли потенциальный риск вреда. Такая архитектура призвана разрешать защитную работу, одновременно блокируя серьёзные злоупотребления, а самые чувствительные возможности оставлять только проверенным пользователям через Trusted Access. Поскольку часть защит использует рассуждение на этапе выполнения, мы можем быстро обновлять их и закрывать пробелы без необходимости заново обучать классификаторы с нуля.
Мы придерживаемся более консервативного подхода, пока продолжаем усиливать систему против адаптивных атак. По сравнению с предыдущими моделями киберзащиты GPT-5.6 Sol блокируют примерно в десять раз больше потенциально вредной активности. Поскольку такие меры могут создавать трение для добросовестных пользователей, в ChatGPT и Codex мы даём возможность легко повторить запрос на менее мощных моделях. Мы продолжим снижать влияние защитных механизмов на безвредные сценарии, сохраняя высокий уровень устойчивости. Это отражает наш итеративный подход к развёртыванию: начинать консервативно и улучшать систему по мере того, как мы учимся на реальном использовании.
Перед запуском в общий доступ мы провели самые интенсивные оценки безопасности на сегодняшний день, включая масштабный red teaming, тщательное тестирование возможностей и защитных механизмов с внешними экспертами, а также около 700 000 GPU-часов A100e black-box автоматизированного red teaming. Это позволило нам системно проверять вероятные слабые места, находить jailbreak-атаки и усиливать систему до запуска.
Идеальной безопасности не существует, и наша работа по защите всё более способных моделей продолжается. Будут обнаруживаться новые слабые места, как и новые jailbreak-методы, обходящие существующие защитные механизмы. Каждое новое поколение моделей также будет создавать новые векторы атак и злоупотреблений. Мы строим систему с учётом этой реальности: через многоуровневые защиты, непрерывный мониторинг, быстрое устранение проблем и сотрудничество с defensive-сообществом. Для GPT-5.6 мы дополнили наши существующие программы bug bounty по безопасности и биологии новым процессом быстрого исправления проблем и самой сильной на сегодняшний день системой мониторинга. Находки исследователей, результаты мониторинга и случаи реального злоупотребления будут постоянно использоваться для новых оценок и усиления защитных механизмов.
Подробнее о наших мерах безопасности можно прочитать в обновлённой system card GPT-5.6.
Доступность и цены
GPT-5.6 включает три уровня моделей: Sol — наш флагман; Terra — более доступная по стоимости модель с производительностью на уровне GPT-5.5; и Luna — наша самая быстрая и недорогая модель. Число обозначает поколение, а Sol, Terra и Luna — это устойчивые уровни возможностей, которые могут развиваться в собственном темпе.
GPT-5.6 доступна с сегодняшнего дня в ChatGPT, Codex и OpenAI API. Глобальное развёртывание уже началось и будет постепенно продолжаться до полной доступности в течение ближайших 24 часов.
-
Chat: пользователи Plus, Pro, Business и Enterprise получают доступ к GPT-5.6 Sol через настройки усилия от medium и выше. Пользователи Pro и Enterprise также могут выбрать GPT-5.6 Sol Pro для результатов максимального качества в сложных задачах.
-
ChatGPT Work и Codex: пользователи Free и Go получают доступ к GPT-5.6 Terra. Пользователи Plus, Pro, Business и Enterprise могут выбирать между GPT-5.6 Sol, Terra и Luna и задавать уровень усилия для каждой модели. max доступен всем пользователям с доступом к GPT-5.6 в ChatGPT Work и Codex; его можно включить в настройках. В ChatGPT Work режим ultra доступен пользователям Pro и Enterprise. В Codex он доступен на тарифах Plus и выше.
-
API: разработчики могут использовать Sol, Terra и Luna через OpenAI API. В Responses API функция Programmatic Tool Calling позволяет GPT-5.6 писать и запускать программы в памяти, которые координируют инструменты и обрабатывают промежуточные результаты, что делает её совместимой с Zero Data Retention (ZDR). Multi-agent, изначально доступный в бета-версии, позволяет GPT-5.6 запускать параллельных субагентов и объединять их работу в рамках одного запроса.
GPT-5.6 тарифицируется за 1 млн токенов в трёх размерах моделей: Sol — $5 за входные токены и $30 за выходные; Terra — $2,50 за входные и $15 за выходные; Luna — $1 за входные и $6 за выходные. GPT-5.6 также вводит более предсказуемое кэширование промптов, включая поддержку явных точек разрыва кэша и минимальный срок жизни кэша в 30 минут. Для GPT-5.6 и более новых моделей запись в кэш оплачивается по ставке 1,25× от некэшированной стоимости входных токенов модели, а чтение из кэша по-прежнему получает скидку 90% на кэшированные входные токены.
Professional
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
Gemini 3.5 Flash |
|
Agents’ Last Exam |
52.7% |
50.4% |
50.3% |
46.9% |
40.5% |
45.2% |
32.1% |
— |
|
GDPval-AA v2 |
1,747.8 Elo |
1,593 Elo |
1,591.8 Elo |
1,493.7 Elo |
1,759.6 Elo |
1,600.1 Elo |
962.3 Elo |
1,348.8 Elo |
|
Management Consulting Tasks (Internal) |
43.2% |
37.2% |
35.4% |
31.3% |
35.5% |
31.6% |
13.2% |
— |
|
Big Finance Bench |
53% |
51% |
36% |
49% |
— |
44% |
— |
— |
|
Artificial Analysis Intelligence Index v4.1 |
58.9 Index score |
55 Index score |
51.2 Index score |
54.8 Index score |
59.9 Index score |
55.7 Index score |
46.5 Index score |
50.2 Index score |
Coding
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Sol Ultra |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
|
Artificial Analysis Coding Agent Index v1.1 |
80 Index score |
— |
77.4 Index score |
74.6 Index score |
76.4 Index score |
— |
— |
77.2 Index score |
72.5 Index score |
42.7 Index score |
|
SWE-Bench Pro |
64.6% |
— |
63.4% |
62.7% |
59.4% |
80.3% |
77.8% |
80% |
69.2% |
54.2% |
|
DeepSWE v1.1 |
72.7% |
— |
69.6% |
67.2% |
67% |
— |
— |
69.7% |
59% |
11.8% |
|
Terminal-Bench 2.1 |
88.8% |
91.9% |
87.4% |
84.7% |
85.6% |
88% |
— |
83.1% |
78.9% |
70.7% |
Наука и здоровье
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
Gemini 3.5 Flash |
|
GeneBench Pro |
28.7% |
23.3% |
10.8% |
12% |
— |
16% |
3.1% |
8.14% |
|
LifeSciBench |
59.9% |
56% |
51.2% |
50.4% |
— |
53.6% |
— |
— |
|
MedChemBench (Internal) |
48.3% |
35% |
30.4% |
35.5% |
— |
— |
— |
— |
|
HealthBench Professional⁶ |
60.5% |
57.7% |
55.7% |
49.5% |
60.9% |
53% |
— |
— |
Работа с компьютером
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Sol Ultra |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
|
OSWorld 2.0 |
62.6% |
— |
50.2% |
45.6% |
47.5% |
— |
— |
54.8% |
— |
|
BrowseComp |
90.4% |
92.2% |
87.5% |
83.3% |
84.4% |
88% |
87.9% |
84.3% |
85.9% |
|
BenchCAD |
70.6% |
— |
62.3% |
63.1% |
44.4% |
38.4% |
35.5% |
27.3% |
— |
|
BenchCAD (python tool) |
83.4% |
— |
78.2% |
73.9% |
55.8% |
65% |
61% |
51.8% |
— |
Кибербезопасность
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Sol Ultra |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Opus 4.8 |
|
Capture-the-Flag Challenges |
96.7% |
— |
91.8% |
85.2% |
88.1% |
— |
— |
— |
|
SEC-Bench Pro |
71.2% |
74.3% |
57.7% |
48.9% |
45.8% |
— |
— |
— |
|
CyberGym |
84.5% |
— |
81.8% |
77.9% |
81.8% |
83.8% |
83% |
78.1% |
|
ExploitBench |
73.5% |
— |
52.9% |
33.2% |
47.9% |
78% |
74.2% |
40% |
|
ExploitGym |
33.7% |
— |
23.2% |
12.4% |
15.1% |
— |
— |
— |
Самоулучшение
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
|
Internal Research Debugging Evaluation |
68.3% |
67.8% |
50.8% |
50% |
|
KernelGen 1P |
61.1% |
49.2% |
22.4% |
29.3% |
|
NanoGPT |
9.69% |
14.5% |
1.66% |
2.65% |
|
PostTrainBench Lite |
50.3% |
51.5% |
29.6% |
38.8% |
|
RSI Index |
57.9% |
56.3% |
41.9% |
41.7% |
Мультимодальность
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
|
MMMU Pro (no tools) |
83% |
80.7% |
78.4% |
81.2% |
— |
— |
80.5% |
|
MMMU Pro (with tools) |
84.6% |
82% |
79.5% |
83.2% |
— |
— |
— |
|
gdp.pdf |
30.7% |
24.7% |
22.7% |
26% |
29.8% |
22.5% |
16.7% |
Академические задачи
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
|
GPQA Diamond |
94.6% |
92.9% |
92.3% |
93.6% |
94.1% |
94.6% |
92.6% |
92% |
94.3% |
|
FrontierMath Tier 1-3 (v2) |
89% |
84.9% |
78.6% |
85.3% |
— |
— |
87% |
80% |
59.6% |
|
FrontierMath Tier 4 (v2) |
83% |
68.3% |
58.5% |
72.5% |
— |
— |
87.8% |
56.1% |
—
|
Использование инструментов
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Fable 5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
Gemini 3.5 Flash |
|
AutomationBench |
18.1% |
15.2% |
14.9% |
12.9% |
— |
— |
17.4% |
15.5% |
— |
14.5% |
|
Toolathlon |
58% |
53.1% |
53.4% |
55.6% |
61.7% |
61.1% |
61.7% |
59.9% |
48.8% |
— |
Длинный контекст
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Mythos 5 |
Claude Mythos Preview |
Claude Opus 4.8 |
|
OpenAI MRCR v2 8-needle 256K-512K |
91.5% |
89.6% |
41.3% |
81.5% |
— |
— |
— |
|
OpenAI MRCR v2 8-needle 512K-1M |
73.8% |
72.5% |
41.3% |
74% |
— |
— |
— |
|
GraphWalks BFS 256k f1 |
90.7% |
76.9% |
81.3% |
73.7% |
91.1% |
85.7% |
85.9% |
|
GraphWalks BFS 1mil f1 |
77.1% |
71.2% |
51.2% |
45.4% |
79.4% |
74.3% |
68.1% |
Абстрактное мышление
|
Eval |
GPT‑5.6 Sol |
GPT‑5.6 Terra |
GPT‑5.6 Luna |
GPT‑5.5 |
Claude Opus 4.8 |
Gemini 3.1 Pro Preview |
|
ARC-AGI-3⁷ |
7.78% |
0.8% |
0.18% |
0.43% |
1.5% |
0.42% |
Заметки
Кибервозможности оцениваются с ослабленными защитными механизмами. Пользователи могут присоединиться к программе OpenAI Daybreak’s Trusted Access for Cyber, чтобы получить расширенный доступ к защитным возможностям в области кибербезопасности.
Все модели оцениваются с помощью ExploitBench API harness с 5 seed-запусками и сохранением непрерывности рассуждения.
Мы запускали ExploitGym на нашем alpha API, который выдаёт ответы быстрее, чем публичный API, а затем масштабировали результаты, чтобы привести их к скорости публичного API. При пересчёте задержек к скоростям, ожидаемым для публичного API, некоторые оценочные задержки превышают двух- и шестичасовые лимиты, хотя в самом оценочном запуске эти ограничения соблюдались корректно. Для более высокой скорости в задачах, чувствительных ко времени, мы предлагаем priority processing в API и fast mode в Codex.
Мы оцениваем задержку и стоимость API, анализируя production-поведение наших моделей и моделируя его офлайн. Эти оценки учитывают детали вызовов инструментов, сэмплированные токены и входные токены. Реальные результаты могут существенно отличаться и зависят от множества факторов, не отражённых в нашей симуляции. Задержку мы моделируем на скоростях fast API, а стоимость — по обычным тарифам API.
Модели, для которых не указаны выходные токены, задержка или стоимость, отображаются как горизонтальные пунктирные линии.
Для multi-agent задержка рассчитывается по корневому агенту, тогда как общее число выходных токенов и стоимость API включают токены всех агентов. Ultra запускается с 4 агентами.
Мы рассчитываем результаты по официальной методике оценки, описанной в статье HealthBench Professional; эти результаты не сопоставимы с теми, что приводятся в system cards Anthropic.
ARC-AGI-3 для Opus 4.8 запускался на high, а не на max reasoning effort, поскольку это единственный опубликованный результат ARC-AGI-3.
ссылка на оригинал статьи https://habr.com/ru/articles/1057684/