По оценке независимой исследовательской организации METR, с октября 2025 года возможности моделей Anthropic на выбранных бенчмарках росли в 1,9 раза быстрее, чем раньше. Исследователи считают, что около 80% ускорения связано с использованием ИИ внутри компании.
Для исследования METR получила доступ к внутренним данным Anthropic, включая результаты трёх ещё не выпущенных моделей — Model 2, 3 и 4. Также исследователи поговорили примерно с 15 сотрудниками компании.
Что говорят цифры и сотрудники
Ускорение почти в 2 раза измеряли по индексу AECI (только на части задач). Доверительный интервал оценки — от 1,5 до 2,8 раза. По словам сотрудников, Claude помогает писать и проверять код, запускать эксперименты, анализировать результаты и быстрее проверять гипотезы.
Один из исследователей оценил сокращение времени между появлением идеи и экспериментом примерно в 80%. Другой сформулировал изменение так: «Теперь ограничивающие факторы — идеи и вычисления, а не написание кода».
При этом оценки сотрудников различались: двое однозначно подтвердили ускорение более чем вдвое, трое скорее согласились, четверо дали неоднозначные ответы, двое не согласились.
В отдельных опросах сотрудники оценили прирост собственной производительности при работе с самой мощной внутренней моделью в среднем в 12 раз. METR считает эти данные слабым доказательством: это субъективные оценки, а не результаты контролируемого эксперимента.
До автономной разработки моделей далеко
Сейчас Claude в основном ускоряет отдельные этапы работы исследователей. METR не обнаружила значительного полностью автономного вклада ИИ в ключевые этапы обучения новых моделей. Однако исследователи отмечают первые признаки того, что модели начинают самостоятельно выполнять более сложные задачи в процессе разработки.
METR также не выявила очевидных ограничений со стороны алгоритмов, вычислений и данных, которые гарантированно остановили бы ускорение в ближайшие 12 месяцев. Этот прогноз сопровождается существенной неопределённостью.
Противоречие с заявлениями Амодеи
Результаты исследования появились на фоне сентябрьского призыва Дарио Амодеи замедлить развитие ИИ, пока меры безопасности не начнут успевать за возможностями моделей.
Есть и вопрос прозрачности. Anthropic разрешила METR изучить внутренние данные, но скрыла значительную часть материалов, на которых основаны выводы. Компания объяснила это опасением, что раскрытие деталей даст конкурентам готовую дорожную карту для ускорения разработки.
Сооснователь Anthropic Сэм МакКэндлиш согласился с основным выводом: ИИ ускоряет исследования компании. При этом он признал, что из-за удалённых данных независимая проверка результатов затруднена.
В отдельном разборе августовского отчёта Anthropic о рисках автоматизации исследований METR также указала, что компания могла уже пересечь собственный порог раннего предупреждения об ускорении разработки.
ссылка на оригинал статьи https://habr.com/ru/articles/1104694/