Девятого июля OpenAI наконец выкатила GPT-5.6 в общий доступ и заодно сбросила лимиты. Я ждал этого релиза не из любопытства: у меня ежедневные агентные сессии по несколько часов, и мне нужно было понять — переезжать или нет. Бенчмарки я читать устал, поэтому сел смотреть живые генерации, которые люди публикуют в X, и параллельно гонял модель на своих задачах через собственный прокси-сетап. Расскажу, что увидел, и почему мой главный вывод оказался не про качество генераций вообще.
Почему я не верю таблицам с процентами
У меня накопилась личная претензия к бенчмаркам: они не отвечают на вопрос «что будет, если я дам модели мою задачу». Проценты на SWE-Bench не показывают, как модель ведёт себя на длинной сессии, когда контекст забит инструментами, правилами и выводом команд. Поэтому я выбрал другой формат проверки: одинаковые промпты двум моделям, результат смотрю глазами. Плюс чужие парные тесты — энтузиасты в X делают именно это, и по их роликам видно то, чего в таблицах нет.
Четыре парных теста, которые я разобрал подробно: воксельная птица с анимацией, гоночная 3D-игра, интерактивный дом и шутер от первого лица. Всё — одним промптом, без доводки.
Что я увидел в живых генерациях
Расклад получился не таким, как я ожидал. Я думал, свежая модель OpenAI либо заберёт всё, либо сольёт всё — а вышло ровно пополам, и что интереснее, по понятному принципу.
GPT-5.6 стабильно выигрывала там, где нужна интерактивность и трёхмерная логика: её дом — это не рендер, а маленькая песочница, где открываются ящики и включается свет; её анимация птицы двигалась естественнее. Fable забирала там, где важна картинка и законченность: чистый рендер без пересветов, шутер, который выглядит как собранный руками прототип, а не техдемо. У версии GPT в шутере прицел оказался буквально непрозрачным — сквозь оптику ничего не видно. Мелочь, но именно такие мелочи отличают «работает» от «играбельно».
Для меня это первый практический вывод: спрашивать «какая модель лучше» бессмысленно, пока не определишь, что для твоей задачи важнее — интерактив или рендер.
Мой личный тест провалился — и это тоже результат
Со своими задачами вышло смешнее. Fable я так толком и не смог погонять: на моих запросах — кодинг-задачи, разбор медицинских анализов — модель раз за разом сваливалась в фолбек на Opus «по соображениям безопасности». Формально это задокументированное поведение нового safety-класса, по факту — я плачу за модель, которой не могу воспользоваться. GPT-5.6 те же запросы отработала без единого вопроса.
Контекстное окно: где маркетинг расходится с прокси-логами
Теперь главное. Моя ежедневная боль с моделями OpenAI прошлого поколения — контекст. В API заявлен миллион токенов, а на подписке реальность другая. Я подключаю агентный CLI к подписке через локальный Anthropic-совместимый прокси и вижу в его логах фактические цифры, а не те, что рисует интерфейс: статусная строка показывала 400k, а реальный потолок, на котором срабатывала компакция истории, держался в районе 250–270 тысяч токенов. Источник правды — таблицы usage в базе прокси, а не UI.
С GPT-5.6 я первым делом полез проверять именно это. В API у всех трёх версий (Sol, Terra, Luna) заявлено 1,05 миллиона токенов контекста. А вот для подписки OpenAI цифру не публикует — в справке написано обтекаемое «действуют существующие лимиты планов». За первые два часа тестов моё окно раздулось максимум до 320 тысяч — уже больше, чем у прошлого поколения, но до заявленного миллиона далеко. Забавная деталь: заполнить окно оказалось трудно ещё и потому, что главный агент стал заметно охотнее спавнить субагентов — их контекст в основное окно не попадает.
Что в итоге
Если бы не контекстное окно, я бы сказал, что паритет наступил ещё у прошлого поколения. Сейчас формула для меня выглядит так: в API паритет по контексту уже есть, на подписке — вопрос открытый. Надеюсь хотя бы на 500 тысяч, но у OpenAI уже был прецедент, когда подписка получала сильно урезанное окно относительно API.
И общий урок, который я вынес из этих суток: живые парные генерации плюс логи собственного прокси говорят о моделях больше, чем любая таблица с процентами. Проверяйте заявленные цифры на своей инфраструктуре — расхождение между маркетингом и логами бывает четырёхкратным.
ссылка на оригинал статьи https://habr.com/ru/articles/1057700/