AI-прогресс в 2025 году будет «еще более драматичным» говорит сооснователь Anthropic

Недавний успех OpenAI с их моделью o3 предполагает, что развитие AI не замедляется — напротив, оно может набирать скорость, согласно словам сооснователя Anthropic Джека Кларка. В своем информационном бюллетене «Import AI» Кларк опровергает утверждения о том, что развитие AI достигает своих пределов. «Все, кто говорил вам, что прогресс замедляется или что масштабирование упирается в стену, ошибаются,» пишет он.

Кларк указывает на новую модель o3 от OpenAI как доказательство того, что еще много пространства для роста, но через другой подход. Вместо того чтобы просто увеличивать размеры моделей, o3 использует обучение с подкреплением и дополнительную вычислительную мощность во время работы.

Кларк утверждает, что эта способность думать вслух, во время выполнения, открывает совершенно новые возможности для масштабирования. Он ожидает, что эта тенденция наберет обороты в 2025 году, когда компании начнут комбинировать традиционные подходы, такие как более крупные базовые модели, с новыми способами использования вычислительных мощностей как во время обучения, так и в процессе вывода. Это отражает то, что OpenAI заявила, когда впервые представила свою серию o-моделей.

Кларк считает, что большинство людей не готовы к тому, насколько быстро все изменится. «Я думаю, что практически никто не учитывает, насколько резким будет прогресс отсюда,» предупреждает он.

Однако он указывает на вычислительные затраты как на основную проблему. Самая продвинутая версия o3 требует в 170 раз больше вычислительной мощности, чем ее базовая версия, которая уже использует больше ресурсов, чем o1 — а o1 сам по себе требует больше мощности, чем GPT-4o.

Эти новые системы делают предсказание затрат гораздо сложнее, объясняет Кларк. В прошлом расходы были прямолинейными — они в основном зависели от размера модели и длины вывода. Но с o3 потребности в ресурсах могут значительно варьироваться в зависимости от конкретной задачи.

Несмотря на эти вызовы, Кларк убежден, что комбинация традиционных методов масштабирования с новыми подходами приведет к «еще более драматичным» успехам в области AI в 2025 году, чем мы видели до сих пор.

Предсказания Кларка поднимают интересные вопросы о собственных планах Anthropic. Компания еще не выпустила модель рассуждений или времени тестирования, чтобы конкурировать с серией o от OpenAI или Gemini Flash Thinking от Google.

Их ранее анонсированная флагманская модель Opus 3.5 остается на паузе — по сообщениям, потому что ее улучшения в производительности не оправдали эксплуатационные затраты.

Хотя некоторые предполагают, что это и подобные задержки указывают на более широкие проблемы масштабирования в крупных языковых моделях, Opus 3.5 не стал полной неудачей. Модель, по-видимому, помогла обучить новую Sonnet 3.5, которая стала самой популярной языковой моделью на рынке.

Источник