Alibaba представила открытую ИИ-модель QwQ-32B-Preview

Китайская Alibaba представила модель искусственного интеллекта с открытым исходным кодом под названием QwQ-32B-Preview. Она может решать сложные логические и математические задачи, содержит 32,5 млрд параметров и может обрабатывать запросы длиной до 32 тысяч слов. 

В тестах Alibaba QwQ-32B-Preview превзошла модели o1-preview и o1-mini от OpenAI по некоторым показателям. в том числе в плане производительности в тестах AIME и MATH. Первый оценивает работу модели с помощью других систем ИИ, а второй представляет собой набор текстовых математических задач. 

Так, модель способна правильно подсчитать число букв «r» в слове «strawberry». Ранее исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не справляются с этой задачей. Они выдают ответ, что эта буква встречается в слове дважды, а не трижды. 

У QwQ-32B-Preview есть и минусы. Так, модель может неожиданно менять язык общения, зацикливаться на некоторых моментах и хуже справляется с заданиями, когда требуется задействовать рассуждения.

При этом система может «проверять саму себя», чтобы избегать ошибок-ловушек. Процесс самопроверки несколько замедляет процесс нахождения решений. Как и o1 от OpenAI, новая разработка Alibaba решает задачи поэтапно, постепенно анализируя и планируя дальнейшие шаги.

QwQ-32B-Preview можно загрузить на платформе Hugging Face под лицензией Apache 2.0 и использовать в коммерческих целях. Но Alibaba раскрыла лишь часть компонентов модели, тем самым не позволяя изучить внутренние механизмы работы алгоритма. Таким образом, модель находится между закрытыми и открытыми системами (open source license).

Кроме того, QwQ-32B-Preview следует требованиям местного регулятора, который проверяет ИИ на соответствие «основным социалистическим ценностям». Это означает, что она не будет отвечать на вопросы политического характера, связанные с КНР.

В настоящее время интерес к моделям с опцией рассуждения растёт на фоне снижения эффективности традиционного подхода за счёт масштабирования данных и вычислительных мощностей. Ранее такие компании, как OpenAI, Google и Anthropic, уже столкнулись с замедлением прогресса ИИ-моделей из-за нехватки обучающих данных. Это, в свою очередь, ведёт к падению инвестиций.