DeepSeek учит модель «тыкать пальцем» в кадр по ходу рассуждения

DeepSeek совместно с Пекинским университетом и университетом Цинхуа 30 апреля выложил технический отчет «Thinking with Visual Primitives» — новый подход к мультимодальному рассуждению, который помогает модели лучше видеть изображения и видео, понимая, что действительно на них произошло. Идея простая: вместо словесных описаний вида «третий пес слева» модель прямо в цепочке рассуждений выдает координаты объектов на картинке, словно тыкая в них пальцем. Решение построено на свежей DeepSeek-V4-Flash (284 миллиарда общих параметров, 13 миллиардов активных) и в задачах вроде навигации по лабиринту обходит GPT-5.4 на 17 процентных пунктов.

Авторы вводят новый термин Reference Gap (разрыв референции). До этого вся индустрия закрывала Perception Gap — то, что модель плохо различает мелкие детали в плотных сценах, отсюда работа с высоким разрешением и нарезка картинки на фрагменты, а заодно подход OpenAI «thinking with images». В DeepSeek возражают: даже если модель видит идеально, остается второй разрыв — естественный язык слишком неоднозначен, чтобы точно указать на конкретный объект в сцене с десятками похожих. На задачах вроде «посчитай людей на групповом фото» или «найди путь в лабиринте» лингвистическая мысль теряет связь с визуальной сущностью и галлюцинирует.

Технически это выглядит так: прямо внутри цепочки рассуждений модель вставляет спецтокены вида <|ref|>dogs<|/ref|><|box|>[[452,23,804,411],[50,447,647,771]]<|/box|>. Координаты — нормализованные целые числа от 0 до 999. Точки и bounding box-ы становятся «минимальными единицами мысли» — аналогия в статье прямая: палец, которым человек тычет в сцену, когда считает или ищет дорогу. Предварительная тренировка дала модели базовое умение генерировать примитивы, дальше — пять стадий посттренинга: раздельная специализация экспертов под боксы и точки, потом их объединение.

Архитектурная сторона не менее интересна. Визуальные токены сжимаются в три прохода: сначала ViT (Vision Transformer) с патчингом 14×14, потом пространственная компрессия 3×3 и наконец Compressed Sparse Attention — та самая, что появилась в DeepSeek-V4-Flash — упаковывает каждые четыре визуальных токена в одну запись KV-кеша. Для картинки 800×800 у DeepSeek получается около 90 записей в кеше против 870 у Gemini-3-Flash и 660 у GPT-5.4. Итоговое сжатие от пикселей до кеша — в 7056 раз.

В сравнительной таблице с GPT-5.4, Claude Sonnet 4.6, Gemini-3-Flash, Gemma-4-31B и Qwen3-VL-235B-Thinking новая модель выигрывает в основном на топологическом ризонинге, который у конкурентов проседает: лабиринты — 66.9% против 49–50% у всех конкурентов, трассировка — 56.7% против 46.5% у GPT-5.4 и 30.6% у Claude. На задачах счета и общем VQA — паритет с лидерами. Авторы честно отмечают, что «thinking with visual primitives» пока активируется только по триггерным словам, а не автономно, а сами сцены с мелкими деталями страдают из-за низкого разрешения визуальных токенов. Над этим будут работать в следующих версиях: DeepSeek V4 пока носит preview-статус.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.