Вышел Qwen2.5-VL от Alibaba: распознавание часовых видео, агенты, структурные данные

Вышел Qwen2.5-VL от Alibaba

Астрологи объявили неделю китайских нейросетей. На этот раз у нас апдейт Qwen2.5-VL.

Это модель, умеющая принимать на вход на текст, так и изображения, обладает более развитой способностью «понимать» нарисованное на картинках, в том числе прекрасно справляется с обработкой видео длительности до 1 часа.

Ссылка на официальный блог: https://qwenlm.github.io/blog/qwen2.5-vl/

Ключевые улучшения

Взято из https://huggingface.co/Qwen/Qwen2.5-VL-72B-Instruct и переведено на русский с небольшой редактурой для понятности:

1. Визуальное понимание

   Модель Qwen2.5-VL не только умеет распознавать привычные объекты (цветы, птицы, рыбы, насекомые), но и способна анализировать тексты, диаграммы, иконки, графику и макеты внутри изображений.

2. Работа в формате ИИ-агента:

   Qwen2.5-VL может напрямую выступать в роли визуального агента, который умеет рассуждать и динамически использовать различные инструменты, в том числе компьютер или телефон. [Привет, OpenAI Operator!]

3. Понимание длинных видео и фиксация событий:

   Qwen2.5-VL способна разбирать видео длительностью более 1 часа.

   Новая возможность — находить конкретные события, выделяя нужные фрагменты видео.

4. Точная локализация в разных форматах:

   Модель умеет точно находить объекты на изображении, создавая bounding-box или указывая точки.

   Она также может выдавать JSON с координатами и характеристиками объектов.

5. Генерация структурированных данных:

   При работе со сканами счетов, форм, таблиц и т.п. Qwen2.5-VL поддерживает структурированный вывод их содержимого, что полезно в финансах, торговле и других сферах.

Обновления архитектуры модели

1. Динамическое разрешение и частота кадров при обучении видео:

   Была расширена идея динамического разрешения, было добавлено временное измерение, и переменная частота кадров (FPS). Это помогает модели понимать видео с разными скоростями воспроизведения.

Также был обновлен mRoPE во временном измерении с помощью использования ID и абсолютной привязки ко времени. Это позволяет модели лучше понимать последовательность событий и скорость, чтобы точнее находить конкретные моменты в видео.

2. Упрощённый и быстрый визуальный энкодер:

   Ускорено обучение и вывод результатов, используя оконное внимание (window attention) в ViT.

   Архитектуру ViT оптимизировали с использованием SwiGLU и RMSNorm, чтобы она соответствовала структуре языковой модели Qwen2.5.

Бенчмарки

Тут всё не так однозначно. В каких-то (MathVista_MINI) Qwen2.5-VL уступает моделям от OpenAI, в каких-то лидирует.

Бенчмарки по иозбражений:

Бенчмарки по видео:

Бенчмарки по «агентским» спосоностям:

Заключение

Alibaba выпустили модель в 3 вариантах — 3, 7 и 72 миллиарда параметров. Более подробное описание можно посмотреть на HuggingFace, а сама модель лежит на GitHub.

Вот уж мощное начало года для китайских специалистов в ИИ.

—

P.S. 2025 год на дворе, неужели вы думали я не бахну ссылку на свой Телеграм канал в конце статьи? Я там регулярно пишу по ИИ/агентов, даю более глубокую аналитику по новостям, и рассказываю как сделать компанию, в которой все сотрудники — AI-агенты. Велком!