Как мы ускорили разметку видеопоиска в десятки раз и не потеряли качество: опыт внедрения VLM-асессора

Современный поиск по видеоконтенту — это высоконагруженная система, требующая молниеносной реакции и безупречной релевантности. Сервис VK Видео оперирует колоссальной базой в 500 миллионов видеороликов и ежедневно обрабатывает около 10 миллионов запросов пользователей. При времени ответа в 0,5 секунды и нагрузке в 1800 RPS алгоритмам необходимо моментально находить именно тот контент, который ожидает увидеть зритель. Однако развитие алгоритмов ранжирования невозможно без качественных данных, на которых они обучаются. 

Традиционный подход с использованием ручной разметки асессорами долгое время оставался индустриальным стандартом, но на масштабах сотен тысяч видео он неизбежно становится бутылочным горлышком продуктовой разработки.

Меня зовут Владислав Чернышев, я руководитель группы качества поиска по видео в AI VK. В этой статье подробно расскажу про путь перехода от классической ручной разметки к гибридной VLM-системе, разберу ошибки и инфраструктурные барьеры, которые пришлось преодолеть для кратного ускорения процессов подготовки обучающих датасетов и офлайн-оценки качества поиска.

Зачем нужна оффлайн-разметка релевантности

Ключевая особенность видеопоиска заключается в том, что пользователь приходит с конкретным интентом, который может удовлетворяться как сотнями релевантных видео, так и всего одним единственным роликом в гигантской базе. Популярные запросы формируют основную долю кликов, но также существует большой пул низкочастотных запросов (например, «как научиться стантить на велике» или «кино про космос и пришельцев»).

Для оценки качества поиска часто используются онлайн-метрики: клики, глубокие просмотры, лайки. Логика проста: если видео находится высоко в выдаче и пользователь совершил с ним целевое действие, сессия считается успешной. 

Онлайн-сигналы сильно смещены в сторону популярных запросов и плохо отражают удовлетворенность пользователя на низкочастотном контенте. Именно поэтому жизненно необходима офлайн-разметка релевантности: она позволяет тестировать гипотезы и оценивать качество выдачи еще до проведения A/B-тестов на реальных пользователях. Без объемной и быстрой офлайн-разметки цикл проверки гипотез растягивается на недели, тормозя развитие всего сервиса.

Как устроена классическая система асессоров

В классическом понимании офлайн-релевантность — это набор строгих правил, определяющих, насколько видео удовлетворяет запрос. Запросы делятся на категории (сценарии), для каждой из которых пишется подробная инструкция.

Специалисты (асессоры) изучают эти инструкции, проходят экзамены и начинают вручную проставлять метки релевантности для конкретных видео. На основе этих меток рассчитываются метрики ранжирования (например, NDCG). Полученные данные применяются для трех главных задач:

• Регулярного трекинга качества собственных сервисов и конкурентов.

• Обучения базовых моделей ранжирования.

• Обучения нейромоделей, используемых в векторном поиске и в качестве отдельных фичей.

На старте ручная разметка кажется идеальным решением: она не требует сложной инфраструктуры, легко запускается через сторонние сервисы и опирается на понятные текстовые правила.

Почему люди перестали справляться

На длинной дистанции ручная оценка сталкивается с тремя непреодолимыми проблемами.

Усложнение инструкций. С развитием платформы появляются сложные кейсы. Например, по запросу «Большое шоу» асессор может увидеть видео с правильным названием, качественной обложкой и миллионами просмотров. Но при детальном изучении выясняется, что это неоригинальный перезалив от другого автора, что снижает его релевантность. 

Другой пример — запрос «Паразиты» (фильм 2019 года). Обложка, тайминг и качество идеальны, но при просмотре обнаруживается, что видеоряд полностью отзеркален во избежание блокировок за авторские права. 

Еще один случай — поиск музыкального клипа Niletto, где автор выложил аудиоверсию трека с картинкой, имитирующей обложку клипа. Для учета каждого такого нюанса (необходимость вслушиваться в аудио, проверять зеркальность, искать перезаливы) инструкции постоянно разрастаются до объемов, которые человеку сложно держать в голове.

Рост стоимости. Усложнение правил требует найма квалифицированного штата разметчиков, успешно сдавших сложные экзамены. 

Проблемы масштабирования. Живые люди работают с определенной скоростью и нуждаются в стабильной загрузке. Пропускная способность ручной разметки для поиска по видео в среднем составляет около 1 миллиона точек в месяц, а держать больший штат асессоров на постоянной основе мы не можем из-за неравномерной нагрузки. При этом потребность ML-инженеров распределяется именно неравномерно: в периоды перед калибровками возникают ярко выраженные пики, под которые невозможно моментально нанять сотни специалистов. 

Идея: заменить асессоров VLM-моделью

Для решения описанных проблем была разработана архитектура на базе VLM (Vision-Language Model). Команда мультимодальных языковых моделей взяла за основу модель Qwen3-VL-4B. Обучение проходило в два этапа:

1. Масштабный full finetune на расширенном датасете. Первый этап —  full finetune на разнородном претрен-корпусе из сервисов VK: поисковые логи VK Видео, статьи Дзена, посты ВКонтакте. Этого позволяет модели иметь понимание домена медиа-контента, специфики поисковых запросов.  

2. LoRA-выравнивание на свежей и сбалансированной выборке. Базовой моделью отобрали данные так, чтобы все классы релевантности были представлены равномерно, доразметили их асессорами и выполнили финальный тюн через LoRA.

Модель научилась анализировать кадры видео и контекст запроса, чтобы предсказывать оценку релевантности. Ожидание было максимально амбициозным: полностью заменить человека алгоритмом, сократить бюджеты и моментально получать любые объемы данных.

Первая ошибка: «человек больше не нужен»

Первый подход заключался в прямом замещении. Команда разметила существующий тренировочный датасет с помощью VLM и обучила на нем модель ранжирования. Офлайн-метрики обученной модели совпали с метриками модели, обученной на данных от людей. Также мы параллельно замерили, насколько оценки VLM совпадают с оценками живых людей: сходство оказалось достаточно большим, чтобы считать VLM-разметку качественной. 

Казалось бы, это успех. Однако при проведении прямых экспериментов и подмешивании новых данных ожидаемого прироста метрик не произошло. Несмотря на горящие сроки, от идеи полной замены пришлось отказаться и вернуться к более консервативным, но надежным подходам оценки. Стало очевидно, что совпадение цифр на старом датасете не гарантирует высокого качества ранжирования в бою.

Эталонный датасет

Чтобы объективно оценить качество самой VLM, потребовался новый инструмент. Нельзя измерять качество нейросети оценками обычных асессоров, поэтому был сформирован отложенный эталонный датасет (Golden Set). Разметку для него проводили лучшие эксперты проекта, а результаты дополнительно валидировались внутри команды разработчиков.

Сравнение ответов VLM с эталонным датасетом показало неожиданный результат: в некоторых категориях нейросеть всё же уступала живому человеку. Полностью доверять весь поток данных модели оказалось преждевременным.

Решение: гибридная схема «VLM + человек»

Анализ показал, что максимальная эффективность достигается не при замене человека, а при правильном разделении ролей. Была внедрена гибридная схема.

Теперь все данные изначально отправляются на разметку в VLM. Если алгоритм максимально уверен в своей оценке (вероятность ответа превышает заданный порог), точка получает автоматический скор. Если же модель сомневается, данные автоматически перенаправляются на ручную оценку асессорам.

Замеры точности такой связки (тандема) показали образование ярко выраженных пиков качества. Например, для модели Qwen 4B при настройках, когда 80% трафика размечается VLM, а оставшаяся часть отправляется людям, итоговая метрика качества (EM) комбинированной разметки достигает 0.85, что превосходит базовое качество обычных асессоров — 0.82. Это позволяет размечать подавляющий объем данных дешево и быстро, сохраняя полное покрытие базы. 

Неожиданные инфраструктурные грабли

Как только гибридная модель доказала свою эффективность, от ML-команд пошел огромный запрос на разметку миллионов точек данных «на вчера». На этом этапе мы столкнулись с классической проблемой: масштабирование упирается не в мощности GPU (железо арендуется и расширяется относительно быстро), а в архитектурные ограничения системы.

Мы столкнулись с рядом неочевидных препятствий:

• Процессы обогащения запросов. Для работы VLM недостаточно просто передать ID видео. Каждый запрос требует обогащения дополнительным контекстом, и именно этот подготовительный этап стал проблемой при росте нагрузки.

• Ограничения на размеры пакетов данных. Внутренние системы обмена сообщениями между микросервисами не были рассчитаны на передачу столь больших объемов метаданных, что вызвало критические сбои при попытке прогнать через них миллионные выборки.

• Пропускная способность смежных пайплайнов. Попытка резко увеличить поток данных вскрыла проблемы в пропускной способности каналов, связывающих наш сервис с другими компонентами инфраструктуры.

Платформа и Developer Experience: сохраняем привычный флоу

Еще один важный урок касался процессов разработки. Мы осознали, что внедрение VLM не должно принуждать ML-инженеров перестраивать привычный ритм работы или осваивать принципиально новые инструменты.

Чтобы интеграция прошла максимально бесшовно, мы руководствовались принципами:

1. Сохранение единой точки входа. Разработчик должен отправлять данные на разметку точно так же, как делал это раньше, когда работал только с асессорами. Мы сохранили для них идентичный интерфейс взаимодействия, чтобы ML-команда не тратила ресурсы на адаптацию.

2. Специализированная VLM-платформа. Мы создали отдельную платформу, которая под капотом воспроизводит все старые процессы разметки, но дополняет их критически важным функционалом: автоматической фильтрацией по порогу уверенности модели (confidence score) и маршрутизацией сложных кейсов на доразметку людям.

3. Учет оверхеда. Мы заранее заложили дополнительные ресурсы на разработку этой платформы, понимая, что внедрение нейросети — это не просто замена движка, а параллельный процесс, который не должен останавливать текущую работу над качеством поиска.

Этот подход позволил команде внедрить новые технологии без потери темпа и без слома устоявшихся внутренних процессов.

Что получили в итоге

Внедрение VLM-асессора радикально изменило экономику и скорость развития видеопоиска.

1. Скорость. Процесс, на который раньше уходили недели (например, сбор 300 тысяч точек), теперь занимает часы. Производительность достигла 10 RPS на видеокартах A100 против <2 млн точек в месяц у людей.

2. Масштаб. Команда смогла пересобрать датасет ранжирования с нуля за одну неделю, получив объем данных в 6 раз больше предыдущего. Всего за 5 дней было собрано 4,5 миллиона примеров.

3. Стоимость. Затраты на разметку одной точки снизились в 60 раз. Появилась возможность гибко масштабироваться за счет аренды GPU на периоды пиковых нагрузок без сжигания бюджетов в периоды простоя.

4. Качество. Целевая метрика качества ранжирования в продакшене выросла на 1,5 процентных пункта за неделю. 

Выводы

Опыт внедрения языковых моделей в процессы оценки качества поиска позволяет сформулировать пять ключевых уроков для индустрии:

1. Не пытайтесь заменить человека сразу, за один подход. Автоматизация ради автоматизации редко дает улучшение продуктовых метрик.

2. Обязательно собирайте эталонный датасет. Без качественного Golden Set невозможно объективно измерить способность нейросети принимать решения.

3. Сравнивайте не абстрактные метрики моделей, а итоговое качество продукта. Совпадение NDCG на старых данных не гарантирует успеха в онлайне.

4. Стройте регулярные графики оценки VLM-моделей. Это необходимо для оперативного отслеживания качества на случай просадки метрик для новых срезов данных, которые модель раньше не видела. 

5. Закладывайте время на инфраструктурную интеграцию. Главные ограничения скроются не в скорости инференса VLM, а в архитектуре окружающих пайплайнов.

6. Комбинированный подход — это оптимальное промежуточное решение, а не финальная точка. Гибридная схема («VLM + человек») дает отличный баланс между скоростью, ценой и качеством прямо сейчас. Однако глобально нужно стремиться к итеративному улучшению системы: конечная цель — постепенно наращивать долю автоматического потока и полностью переключать разметку на VLM в тех отдельных треках и сценариях, где модель уже способна целиком заменить человека.