В MIT научили ИИ предупреждать о галлюцинациях

Рассуждающие модели ИИ отвечают одинаково уверенно и тогда, когда действительно знают ответ, и тогда, когда просто угадывают. Исследователи из MIT CSAIL утверждают, что нашли корень проблемы и предложили способ ее исправить без потери точности. В конце апреля работу Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty представят на ICLR.

Команда сравнивает поведение современных рассуждающих моделей с «самым громким голосом в комнате»: модель говорит, что уверена на 95%, но оказывается права лишь в половине случаев. По словам авторов, такая система опаснее модели, которая просто ошибается: у пользователя нет повода усомниться в ответе и поискать второе мнение. В медицине, праве и финансах это особенно критично.

Источник проблемы оказался в самой функции награды стандартного RL, которым обучают современные reasoning-модели. Она бинарная: оценивает только правильность финального ответа. Угадывание монеткой и аккуратное рассуждение получают одинаковую награду, если ответ верен. А воздержание от ответа и неправильный ответ оцениваются одинаково — модели выгоднее всегда что-то отвечать, чем признать неуверенность. Со временем она усваивает простую стратегию — отвечать с непоколебимой уверенностью на все подряд. «Стандартный подход к обучению прост и эффективен, но не дает модели стимула выражать неуверенность или говорить “не знаю», — объясняет соавтор работы Мехул Дамани, аспирант MIT.

Решение, которое команда назвала RLCR — Reinforcement Learning with Calibration Rewards, — добавляет к функции награды еще один элемент: метрику Брайера (Brier score). Это классическая метрика, которая штрафует за разрыв между заявленной уверенностью и фактической точностью. В результате модель учится не только решать задачу, но и оценивать собственную уверенность в ответе. Уверенно неправильные ответы наказываются. Неуверенно правильные — тоже. Авторы математически доказали, что такая структура награды позволяет одновременно сохранять точность и улучшать калибровку.

Метод проверили на модели с 7 млрд параметров и шести наборах данных, которых она не видела при обучении. RLCR сократил ошибку калибровки максимум на 90% — без потери точности как на знакомых, так и на новых задачах. Отдельная важная находка: обычное обучение с подкреплением для reasoning-моделей не нейтрально к калибровке, а ухудшает ее по сравнению с базовой моделью. «Удивительно, что обычное RL-обучение не просто не помогает калибровке. Оно ей активно вредит. Модели становятся способнее и одновременно более самонадеянными», — говорит соавтор Иша Пури.

Самооценка уверенности оказалась полезной и на этапе вывода. Если генерировать несколько ответов и выбирать тот, в котором модель уверена сильнее, или учитывать уверенность при голосовании большинства, точность растет вместе с увеличением вычислительных ресурсов. Еще один результат: рассуждения модели о собственной неуверенности несут полезную информацию, а не служат украшением. Если добавить такую цепочку рассуждений на вход отдельному классификатору, он работает лучше — особенно в случае небольших моделей.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.