22 октября 2026 года в Science вышло исследование Microsoft о системе MAI-DxO. Она использует языковую модель для последовательного разбора клинических случаев: запрашивает сведения, выбирает обследования и обсуждает возможные диагнозы от лица виртуального консилиума. На сложных случаях из New England Journal of Medicine система показала около 83% правильных ответов, врачи со справочными ресурсами — около 36%. Сообщение Microsoft о публикации.
Исследователи оценивали одновременно точность диагноза и расчётную стоимость обследований. Для эксперимента они разработали SDBench — среду, в которой врач или ИИ получает информацию о случае постепенно и сам решает, что запросить дальше.
Как устроен эксперимент
В начале участнику показывают короткое описание жалоб пациента. После этого он может задавать уточняющие вопросы, назначать обследования или назвать окончательный диагноз. Каждый новый ответ позволяет пересмотреть предыдущие гипотезы и выбрать следующий шаг.
За выдачу информации отвечает отдельная модель Gatekeeper, у которой есть полный текст клинического случая. Когда участник завершает разбор, модель Judge сопоставляет его диагноз с эталонным. Правильными считаются ответы, получившие 4 или 5 баллов по пятибалльной шкале. Отдельно система подсчитывает стоимость назначенных обследований. Устройство SDBench.
Если запрошенного результата нет в исходной истории болезни, Gatekeeper может сформировать синтетический ответ. Этот механизм позволяет продолжать диагностический разбор за пределами сведений, включённых в исходный документ. Документация проекта.
В исследование вошли две группы: 304 сложных клинических случая NEJM и 325 случаев из MIMIC-IV-ED. Во вторую группу включены пациенты, которых госпитализировали после обращения в приёмное отделение. Для оценки использовали 254 валидационных случая и 71 тестовый случай с проверкой клиницистами. Описание данных MIMIC, состав выборок SDBench.
Как работает виртуальный консилиум
MAI-DxO управляет обсуждением внутри диагностической системы. В авторском описании архитектуры одна языковая модель выполняет пять ролей: формирует гипотезы, выбирает обследования, ищет противоречия в текущем диагнозе, контролирует расходы и проверяет согласованность рассуждений. После обсуждения система запрашивает новые сведения или завершает диагностику. Авторская рукопись, раздел 3.2.
Оркестратор можно использовать с разными базовыми моделями. Microsoft исследовала этот подход на семействах GPT, Claude, Gemini, Llama, Grok и DeepSeek. Первые результаты компания представила в июне 2025 года. Первоначальное описание MAI-DxO.
В новой публикации Microsoft также сообщает о повторной оценке с GPT-5.5: преимущество системы сохранилось без изменения метода оркестрации. Анонс от 22 октября.
Результаты диагностики и расходы
В экспериментах с GPT-5 авторы получили следующие результаты:
|
Условия оценки |
MAI-DxO с GPT-5 |
Врачи |
|---|---|---|
|
Сложные случаи NEJM, врачи со справочными ресурсами |
83,2% |
36,1% |
|
Сложные случаи NEJM, врачи без справочных ресурсов |
83,2% |
22,3% |
|
Случаи из MIMIC-IV-ED |
80,3% |
46,8% |
Точные значения приведены в авторской рукописи; основные сравнения в округлённом виде опубликованы в свежем сообщении Microsoft.
На NEJM базовый GPT-5 без оркестратора достиг 78,9% при оценочных расходах $8 409 на случай. MAI-DxO с той же моделью без бюджетных ограничений показала 83,2% при расходах около $5 430. Для врачей со справочными ресурсами оценка расходов составила $4 725. Сравнение конфигураций в авторской рукописи.
Бюджетные настройки позволяли менять соотношение точности и расходов. В пресс-релизе AAAS приведены такие результаты для сложных случаев:
|
Конфигурация |
Точность |
Средние оценочные расходы на случай |
|---|---|---|
|
С ограничением бюджета |
79,6% |
$1 303 |
|
С максимальной точностью |
84,5% |
$8 945 |
Для MIMIC-IV-ED режим без бюджетных ограничений дал 80,3% правильных диагнозов при расходах около $4 980 на случай. Все суммы относятся к оценочной стоимости диагностических обследований в эксперименте. Пресс-релиз AAAS в перепечатке Brightsurf.
Открытый бенчмарк и клиническая проверка
Microsoft опубликовала код SDBench, включая компоненты выдачи информации, оценки диагнозов и расчёта стоимости. В репозитории доступны пять синтетических случаев для разработки. Для работы с клиническими данными предусмотрен отдельный доступ: случаи NEJM требуют лицензирования, набор MIMIC распространяется через PhysioNet. Репозиторий SDBench.
Опубликованные результаты получены в симуляции по текстовым историям болезни. Следующим этапом станет проверка в клинических условиях. Microsoft объявила о сотрудничестве с Beth Israel Deaconess Medical Center в Бостоне: в проспективном исследовании пациенты будут взаимодействовать с системой, а её результаты сравнят с независимыми оценками врачей. Планы исследования.
ссылка на оригинал статьи https://habr.com/ru/articles/1098786/