12 июля флагманская GPT-5.6 Sol Pro после восьми часов размышлений побила лучший человеческий результат в задаче о длине пути градиентного спуска — и оформила его полноценной статьей на 14 страниц с доказательствами, таблицей констант и скриптом для их проверки. Прежний рекорд — оценка 2.29^n — принадлежал людям, но о нем мало кто знал: он так и не был опубликован. Историю двухлетнего противостояния людей и моделей исследователь OpenAI Себастьен Бубек рассказал 10 июля, а уже через два дня объявил о падении рекорда.
Сама задача формулируется одной строкой: какой длины может быть путь градиентного потока по выпуклой функции, если он не выходит за пределы единичного шара в пространстве размерности n? Градиентный поток — это непрерывная версия градиентного спуска, того самого алгоритма, которым обучают нейросети: он всегда скатывается вниз по склону, а выпуклость означает, что у ландшафта одна-единственная низина, без обманных локальных ям. У такой траектории есть изящное свойство: она никогда не удаляется от точек своего будущего маршрута, за что математики называют подобные кривые самосжимающимися (self-contracted). Вопрос в том, насколько извилистым может быть спуск: цель в метре от старта, а сколько километров придется намотать?
Интуиция здесь ошибается дважды. Во-первых, градиентный спуск сходится одинаково быстро хоть в двух измерениях, хоть в миллионе — за это его и любят в машинном обучении. Казалось бы, и длина пути не должна зависеть от размерности. Ничего подобного: лучшая опубликованная оценка сверху — n^O(n), рост быстрее любой экспоненты, и получена она в статье Манселли и Пуччи 1991 года. За 35 лет эту оценку никто не смог сдвинуть ни на шаг. Во-вторых, конечность длины — вообще не данность: у ускоренного метода Нестерова, любимца всех курсов по оптимизации, траектория может оказаться бесконечной.
Восемь лет назад Бубек с Омером Анджелом, Томасом Мерчаном и Федором Назаровым доказал, что ответ экспоненциален: длина пути находится между √2^n и 4^n. Аккуратно написанная статья с этими оценками почти десятилетие пролежала в папке Dropbox — отчасти потому, что авторы понимали: результат еще можно улучшить. Назаров и Мерчан позже так и сделали, сузив вилку до 2^n снизу и 2.29^n сверху, — и снова без публикации. Бубек признается, что и сам забыл о достижениях соавторов: его собственное понимание задачи застыло на уровне первой статьи.
С началом ИИ-бума Бубек два года задавал каждой новой модели один и тот же вопрос — тот самый, о длине пути градиентного спуска в шаре. Первой, кто вообще понял, о чем речь, стала o3: она распознала в задаче теорию самосжимающихся кривых и знала, на чем остановилась наука. Тогда это само по себе казалось чудом. Но дальше начался неприятный этап: GPT-5, 5.2 и 5.4 выдавали сложные, уверенные и неизменно ошибочные решения, на проверку которых уходили часы. Еще в феврале этого года Бубек показывал задачу в докладах как антипример — вопрос, который языковым моделям задавать не стоит.
Перелом случился в два шага. Сначала GPT-5.5 — после долгих итераций и подсказок гарвардского математика и ученика Бубека Марка Селлке — переоткрыла нижнюю оценку 2^n. А вышедшая на прошлой неделе GPT-5.6 Sol в Pro-режиме сделала то же самое с первой попытки за 80 минут, а затем за 88 минут в один заход получила верхнюю оценку 2.31^n. И вот тут важная деталь. Подход, дающий 2.31, Назаров, по словам Бубека, публично разбирал еще в 2018 году на форуме MathOverflow — и сам же объяснил, почему это тупик. Получается, что рекордный результат 2.29 Назаров с Мерчаном добыли другим способом. И вопрос был, как быстро модель найдет этот способ — или даже лучший. Получилось намного быстрее, чем все ожидали.
10 июля Бубек опубликовал в X результат ИИ в 2.31, — против 2,29 у людей. Параллельно он дал прогноз, что прогресс ИИ в этой задаче займет примерно шесть месяцев. И «немного» ошибся — прогресс занял два дня. 12 июля Джейсон Ли — профессор Принстона и один из главных теоретиков градиентного спуска — вместе с Диланом Фостером из Microsoft Research и коллегами применяет к задаче фирменный промпт из недавней истории с гипотезой двойного циклового покрытия (мы разбирали ее). Модель сначала выдает 2.28, а после восьми часов дополнительных размышлений — 2.26 и готовую статью.
Интересно, что в статье ИИ честно оценил свои пределы. Модель признает, что выжала из текущего метода максимум и прямо пишет, что дорога к оценке 2^n требует новой геометрической идеи. Однако Джейсон Ли уже заявил в X, что понимает, как улучшить результат до 2,21, а может даже и 2. Посмотрим, кто окажется прав в этом споре.
Стоит добавить и взгляд с другой стороны. Результат пока не прошел рецензирование, нет и машинной проверки доказательства в Lean — корректность пока держится на слове узкого круга математиков, прочитавших текст. Сам Бубек — бывший вице-президент Microsoft по ИИ-исследованиям, а ныне сотрудник OpenAI, то есть рассказывает об успехах модели своего работодателя.
Есть и системная критика. Бен Рехт из Беркли называет подобные истории «отмыванием знаний»: модель обучалась на триллионах слов, включая статьи, которых не читал никто из участников дискуссии, и может выдать забытый чужой результат за свежее открытие — без ссылки на первоисточник. Правда, именно к этому случаю претензия применяется плохо: человеческий рекорд 2.29 никогда не публиковался, вспоминать его модели было неоткуда.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1059186/