Дерматолог проверил GPT-6 Astra и Claude на 200 образованиях кожи: CNN 2015 года точнее

Я дерматолог. Я проверил, насколько хорошо GPT-6 Astra и Claude Fable 5.1 диагностируют рак кожи, и они оказались менее точными, чем я ожидал. Для сравнения я взял свёрточную нейросеть десятилетней давности и, к своему удивлению, обнаружил, что она справляется лучше.

Это меланома.

Рисунок 1. Инвазивная меланома на ухе толщиной меньше 0,8 мм. Обе LLM назвали её себорейным кератозом и сказали, что пациента можно отпускать. CNN назвала её меланомой. Сверху клиническая фотография, снизу дерматоскопический снимок. Изображения: MILK10k, MILK study team, CC BY-NC.

Я показал эти два снимка (клиническую фотографию и дерматоскопическое изображение, то есть снятое через кожный микроскоп) GPT-6 Astra и Claude Fable 5.1, двум из самых сильных ИИ-моделей, доступных в октябре 2026 года. Обе ответили, что это себорейный кератоз, безобидное бородавчатое образование, и пациента можно отпустить. Затем я показал их дообученной версии Inception v3. Это свёрточная нейросеть (CNN), которую Google впервые опубликовал в 2015 году; здесь её дообучили на открытых дерматологических изображениях. По дерматоскопическому снимку CNN дала правильный ответ.

Это было одно из 200 образований с подтверждённым биопсией диагнозом, которые я дал всем трём моделям. CNN назвала правильный диагноз (из шести возможных) для 125 из них (62%). Две передовые LLM — для 84 и 85 (42%). Нейросеть десятилетней давности, которую дообучали около двадцати минут, распознавала рак кожи лучше обеих.

Как устроена проверка

Образования взяты из MILK10k — открытого набора данных, который International Skin Imaging Collaboration выпустила в 2025 году. Каждое образование там снято дважды: клинический крупный план и дерматоскопический снимок через подсвеченную увеличительную линзу, которой пользуются дерматологи. Я случайно выбрал 200 образований, все с гистологическим подтверждением:

• 100 таких, которые нельзя отпускать без наблюдения: 30 меланом, 25 базальноклеточных карцином, 25 плоскоклеточных карцином (включая болезнь Боуэна) и 20 актинических кератозов;

• 100 таких, с которыми пациента можно спокойно отпустить: 50 доброкачественных невусов (родинок) и 50 себорейных кератозов.

Биопсию делали каждому образованию, в том числе доброкачественным, поэтому диагностировать их сложнее: если родинку решили вырезать, значит, она чем-то насторожила врача.

Базальноклеточная карцинома на туловище 75-летнего мужчины. Все три модели ответили правильно.

Инвазивная меланома толщиной меньше 0,8 мм, почти без пигмента. GPT-6 Astra назвала её базальноклеточной карциномой с уверенностью 95%. Claude Fable 5.1 и CNN назвали её меланомой.

Себорейный кератоз на ноге. Обе LLM назвали его актиническим кератозом, CNN — плоскоклеточной карциномой. Ошиблись все три, но ни одна не предложила отпустить пациента.

Рисунок 2. Ещё три из 200 тестовых образований. Сверху клиническая фотография, снизу дерматоскопический снимок. Изображения: MILK10k, MILK study team, CC BY-NC.

LLM получали оба снимка и больше ничего. Их спрашивали так, как спросил бы врач, который ими пользуется: какой из шести диагнозов наиболее вероятен (или «не уверен»), с какой уверенностью, какой второй вариант и можно ли спокойно отпустить пациента без лечения, биопсии и наблюдения. Обе модели получили один и тот же промпт с настройками по умолчанию, и ни одна не отказалась отвечать.

CNN намеренно взята не самая передовая. Я использовал Inception v3, предобученную на обычных фотографиях, и дообучил все её слои на 68 011 дерматоскопических и клинических снимках из ISIC Archive на одном GPU H100. Эти 200 тестовых образований и все остальные снимки того же образования или того же пациента я убрал из её данных (включая валидационную выборку) до обучения. Поэтому она их никогда не видела, и по ним не выбирали модель и не настраивали порог. CNN оценивала оба снимка каждого образования, объединяла результаты, отдавая основной вес дерматоскопическому, и выбирала из тех же шести диагнозов.

CNN можно попробовать самому. Что удивительно, модель достаточно мала, чтобы целиком работать в браузере телефона через WebGPU. Снимки остаются на устройстве. Кнопка случайного примера берёт снимки из тех же 200 образований.

Диагноз: 62% против 42%

Правильный диагноз с первого варианта у двух LLM и CNN, которая выбирала из тех же шести диагнозов. В ячейках — число правильных ответов из числа образований с этой гистологией.

Рисунок 3. Правильный первый вариант диагноза.

CNN была права чаще в целом и по большинству диагнозов. Если засчитывать и второй вариант, она набрала 173 из 200 против 134 и 138. Она назвала 13 из 30 меланом против 8 и 11. Самый большой разрыв оказался на безобидных образованиях: CNN узнала 37 из 50 родинок и 26 из 50 себорейных кератозов, а GPT-6 Astra — 16 и 13, Claude Fable 5.1 — 33 и 6. На базальноклеточной карциноме CNN отстала от GPT-6 Astra на одно образование, а на актиническом кератозе уступила обеим LLM.

Ошибались модели тоже по-разному. У каждой LLM был любимый ответ: GPT-6 Astra назвала базальноклеточной карциномой 75 образований, хотя таких было 25, в том числе 14 из 30 меланом, а Claude Fable 5.1 назвала актиническим кератозом 53 образования при 20 настоящих. Ошибки CNN на меланомах шли в другую сторону: из 17 неверных ответов в 8 случаях она назвала меланому невусом и в 6 — себорейным кератозом.

Все результаты в одной таблице

Оговорки

Маленькие числа. Двухсот образований хватает, чтобы увидеть закономерность; ранжировать по ним близкие результаты уже нельзя. Кроме того, 30 меланом дают широкую неопределённость как раз в самом важном показателе. Каждый случай прогоняли через LLM один раз, а ответы от запуска к запуску различаются.

Сложные случаи. Каждое образование было биопсировано. На обычных снимках из архива CNN разделяла образования, которые можно и нельзя отпускать, гораздо лучше: площадь под ROC-кривой 0,96 против 0,86 здесь.

Утечка данных. MILK10k открыт с 2025 года, поэтому LLM могли видеть его при обучении; если так, это им бы только помогло. CNN его точно не видела.

Не передовой уровень. Inception v3 — это базовая модель для сравнения. Передовые системы ИИ для диагностики рака кожи используют ансамбли визуальных трансформеров, обученных на большем объёме данных, а сертифицированные продукты на их основе работают значительно лучше.

Если спрашивать как пациент

Если же спросить как пациент — дать только клиническую фотографию и задать вопрос «нужно ли мне к врачу?», — обе LLM почти во всех случаях советовали обратиться к врачу, в том числе при безобидных образованиях: для 99 и 98 из ещё 100 меланом, подтверждённых биопсией.

Вывод

Маленькая старая специализированная нейросеть устаревшей архитектуры распознаёт кожные образования гораздо лучше двух передовых LLM.

Проверьте сами

Случаи, промпты, все ответы LLM и код подсчёта лежат в одном архиве, а CNN — здесь.

Тест спроектировал я, и клинические решения тоже принимал я. Анализ и первые черновики сделаны в Claude Code, инструменте Anthropic для программирования, который работает на модели Claude; одна из двух проверенных LLM тоже от Anthropic. Ответы оценивал скрипт по данным гистологии.

Изображения взяты из набора данных MILK10k (MILK study team, International Skin Imaging Collaboration) и используются по лицензии CC BY-NC.

Доктор Магнус Линч — врач-консультант дерматолог и хирург Мооса в больнице Guy’s Hospital, почётный ридер (аналог доцента) в King’s College London. Его клиническая работа охватывает рак кожи, хирургию Мооса, реконструктивную хирургию лица и лазеры, а исследования — клеточную биологию рака кожи и рубцов и применение ИИ в дерматологии.