Модель заменили, точность не упала

—

от автора

Можно ли заменить модель так, чтобы не переучивать её коллег?

Допустим, от склада до моста пять минут езды. Навигатор предлагает ехать через мост: так короче. Один вопрос — на чём едем? Для легковой машины маршрут годится. Для гружёного грузовика на въезде может обнаружиться знак с ограничением по массе.

Мне нравится этот пример тем, что специалист по маршрутам здесь может быть совершенно прав. Мост действительно есть. Дорога через него действительно короче. Ошибка возникает чуть позже, когда кто-то принимает «так короче» за «вам туда можно».

В прошлой статье я разбирал, что происходит с ошибками нескольких моделей, когда мы соединяем их в цепочку. Сейчас меня занимает другой вопрос. Допустим, я собрал систему из нескольких небольших специалистов. Прошёл год, появилась модель получше, я хочу заменить ею одну из старых. Что, кроме формата ответа, должно остаться прежним, чтобы остальные продолжили понимать своего коллегу?

Что именно я хочу менять

Под специалистом я понимаю не конкретную нейросеть, а работу, которую надо выполнить. Например, разобраться, что имел в виду человек. Я хочу попробовать поручить эту работу нескольким компактным моделям разных архитектур. Пусть они получат один и тот же вопрос и независимо предложат трактовку. Три модели для начала — не правило. Если одна справится не хуже трёх, я предпочту одну.

Вернёмся к складу. Пользователь спрашивает: «Надо отвезти груз со склада. Через старый мост быстрее?» Одна модель читает это как обычный вопрос водителя о времени в пути. Другая цепляется за слово «груз»: возможно, едет грузовик. Хотя коробку можно положить и в багажник легковой. Вот где я пока сомневаюсь: стоит ли уже здесь переспрашивать или сначала выяснить, есть ли на мосту ограничение? Голосованием этого не решить. Даже если за легковую машину высказались две модели из трёх, они не узнали от этого, на чём едет человек.

Что я хотел бы получить от такого специалиста? Примерно следующий ответ: «Вопрос о времени в пути. Тип машины не указан». Дальше специалист по маршрутам сообщает, сколько времени займёт дорога, а специалист по ограничениям находит лимит массы на мосту. Теперь координатор может ответить по делу: «Через мост быстрее, но там ограничение по массе. На какой машине вы едете?»

Зачем несколько моделей, если всё закончилось одним уточняющим вопросом? Пока я не знаю, нужны ли они. Возможно, одна модель задаст ровно тот же вопрос быстрее и дешевле. Но этот пример помогает определить, за что я вообще готов платить дополнительными вычислениями: не за ещё один голос в пользу популярного ответа, а за замеченную деталь, которая меняет решение.

Одно пустое поле

Самое уязвимое место этой конструкции, на мой взгляд, — короткий отчёт специалиста. Представим, что в нём есть поле alternative. Старая версия оставляет его пустым, когда рассмотрела вторую трактовку и отбросила её. Новая — когда уверена в первой трактовке настолько, что вторую даже не проверяла. В обоих случаях координатор получает alternative: null.

Я могу написать тест, который подтвердит: поле на месте, тип правильный, пустое значение разрешено. Такой тест благополучно пройдёт. А между «проверил» и «не проверял» есть разница — особенно для водителя, который уже доехал до моста.

Первое инженерное возражение напрашивается само: заведи два состояния, checked и not_checked, и не усложняй. Согласен. Я бы именно с этого и начал. Только отдельное поле решает проблему записи, а не проблему поведения. Если после замены новая модель ставит checked в тех случаях, где прежняя запрашивала дополнительный признак, координатору от правильного названия поля не легче.

Здесь и начинается моя гипотеза. Если внутри предметного специалиста заменить модели, но сохранить смысл его короткого отчёта — в том числе когда он сообщает о существенной альтернативе, а когда признаёт, что её не проверял, — то для части задач координатор удастся оставить без переобучения. Я не предлагаю считать смысл сохранённым только потому, что ответы похожи. Проверять надо по тому, какие решения на их основании принимает остальная система.

Есть деталь, с которой я пока не разобрался. Допустим, новая модель заметила ограничение, которое прежняя всегда пропускала, и после замены координатор стал чаще переспрашивать. Это он перестал понимать специалиста или впервые получил от него повод задать нужный вопрос?

Чем это отличается от маршрутизатора

В RouteLLM авторы исследовали близкий вопрос: продолжит ли обученный роутер разумно выбирать между более сильной и более слабой моделью, если сами модели заменить? А в Branch-Train-Merge уже есть предметные эксперты, которые можно добавлять и убирать. Сама идея сменных моделей давно не новость.

Меня интересует замена на другом уровне. Координатору не нужно выбирать, кто один ответит пользователю. Он может одновременно принять расчёт времени от одного специалиста и ограничение по массе от другого. Я хочу поменять внутреннее устройство одного из них и посмотреть, не придётся ли после этого заново настраивать тех, кого я не трогал.

Как я бы проверял гипотезу

Я начал бы с пар почти одинаковых запросов. В одном пользователь указал машину и её массу, в другом пропустил эту деталь. Карта и ограничение на мосту те же. Но нужна и третья ситуация: машина неизвестна, а на маршруте вообще нет ограничений по массе. Если система и здесь переспросит про грузовик, она не научилась замечать важную неопределённость. Она просто нашла безопасную привычку — спрашивать всегда.

На одном наборе отложенных задач я сравнил бы исходный совет, совет после замены моделей одного специалиста и тот же обновлённый совет после перенастройки координатора. Отдельно убрал бы из отчёта альтернативную трактовку. Если без неё ничего не меняется, не стоит приписывать пользу полю, которое никто не использует.

Помимо точности ответа я считал бы две вещи раздельно: сколько раз система промолчала о недостающем условии и сколько раз задала лишний вопрос. Средняя цифра их примирит, а пользователь — вряд ли. Время и стоимость тоже надо измерять на запрос целиком: пять маленьких моделей ещё предстоит запустить.

Эксперимента с таким советом я пока не проводил. Самый интересный для меня отрицательный результат выглядит так: обновлённый специалист не хуже прежнего на собственных задачах, но координатор после замены систематически пропускает нужные уточнения. Если исправить это удастся только совместной перенастройкой, значит, я ошибся в главном — провёл границу между независимыми модулями там, где её на деле нет.

А если вы уже меняли модель внутри работающей системы: чем вы проверяли, что следующий компонент всё ещё правильно понимает её ответы? Особенно интересен случай, когда метрики самой модели остались в норме, а поломку первым заметил кто-то дальше по цепочке.

ссылка на оригинал статьи https://habr.com/ru/articles/1110536/