ИИ может определять расу людей по рентгеновским снимкам, и ученые в шоке

Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.

Группа ученых из США, Тайваня и Канады опубликовала свою работу в журнале The Lancet Digital Health.

Они обучили свой ИИ, используя сотни тысяч рентгеновских снимков, содержащих информацию о расе пациента. Потом скормили ему несколько тысяч снимков без указания расы. И попросили машину угадать, где какой человек. Нейросеть до этого никогда не видела конкретно этих изображений, и не имела о них никакой дополнительной информации. Но она угадывала расу человека (белый, темнокожий, азиат) с удивительной 98%-й успешностью. Даже когда сканы брали у людей одного и того же возраста, пола и комплекции.

Эта же команда проводила похожий эксперимент (pdf) около года назад. Тогда для обучения алгоритмов авторы использовали больше разных наборов данных. В том числе компьютерную томографию грудной клетки, рентген кистей рук, маммографию и рентген шейного отдела позвоночника. По этим данным их ИИ смог угадывать расу пациента в 80—92% случаев.

Еще год ушел на то, чтобы попытаться понять, как именно нейросети видят разницу, и неужели расисты всех стран были правы. В попытке объяснить поведение своих моделей команда рассмотрела множество вариантов:

• наличие пока нам неизвестных различий в физических характеристиках между различными расовыми группами (габитус тела, плотность груди);

• алгоритм может ориентироваться по специфике выявляемых заболеваний — например, у темнокожих пациентов чаще встречается диабет и заболевания сердца;

• специфические характеристики тканей — например, темнокожие имеют более высокую минеральную плотность костной ткани;

• способность систем глубокого обучения комбинировать несколько демографических факторов и информации о пациенте.

Но все эти варианты не годились. Потому что, учитывая новый опыт, получалось, что машина лучше предсказывает расу человека по одной рентгенографии грудной клетки, чем по совокупности всех других меток и факторов.

Например, ученые протестировали, смотрит ли их ИИ на плотность костной ткани. Всё-таки модели тренировались на изображениях, где более толстая часть кости казалась белой, а тонкая — полупрозрачной. И, возможно (?), из-за особенностей питания или условий проживания, у темнокожих людей кости в среднем содержат больше минералов, и являются более толстыми. А какие-то минимальные отличия в цвете костей на снимках находит нейросеть и делает свои выводы.

Чтобы проверить это, ученые обработали изображения фильтром так, чтобы ИИ не смог различать цвета. Оказалось, что это не смутило модель — она по-прежнему очень точно предсказывала расу — с вероятностью 94-96%. То есть, ухудшение едва ли превышало величину статистической погрешности. А может, фильтр просто ухудшал какие-то другие аспекты изображения, которые подавали сигнал модели.

Даже когда изображения пропускали через несколько фильтров, так что в итоге они вообще становились мало похожими на медицинские снимки, нейросети всё равно сохраняли очень высокую точность, выше 60%.

Исследователи в своей статье говорят:

Мы показываем, что стандартные модели глубокого обучения ИИ могут определять расу по медицинским снимкам с высокой точностью в нескольких модальностях визуализации. Это подтверждается внешними проверками.

Это поднимает тревожные вопросы о роли ИИ в медицинской диагностике и лечении: могут ли модели непреднамеренно проявлять расовую предвзятость при изучении подобных изображений?

Ученые до сих пор не уверены, почему их нейросеть так хорошо определяет расу по изображениям, которые с виду не содержат никакой такой информации. Текущая главная версия — возможно, модель находит какие-то признаки наличия меланина, пигмента, придающего коже ее цвет. Кожи, конечно, на рентгеновских снимках вообще нет, но может, это нам так кажется? Может, просто наш человеческий глаз её не замечает. А для ИИ какие-то остаточные свечения размером в пару пикселей ясны, как день.

Это объяснило бы, почему никакая обработка изображения фильтрами почти не влияет на точность предсказаний модели. Но тут забавно то, что ИИ с одинаковой успешностью отличает и африканцев, и азиатов. Причем азиатов иногда (при умышленном ухудшении изображения) даже немного лучше. Если дело здесь только в меланине, то такой результат довольно сложно объяснить.

Расистский ИИ?

Ученые в своей работе пишут:

Наш вывод о том, что ИИ может точно предсказывать расу, даже по зашумленным и искаженным изображениям, на самом деле создает огромный риск для всех развертываний таких моделей в медицинской визуализации.

Новая работа, по их словам, еще раз доказывает, что системы ИИ часто могут отражать предубеждения людей, будь то расизм, сексизм или что-то еще. Искаженные обучающие данные (которые с виду, для человеческого глаза, кажутся нормальными) приводят к искаженным результатам, что сделает их куда менее полезными, а потенциально даже опасными, как минимум для компаний. Та же Amazon до сих пор никак не может оправдаться от скандала, когда оказалось, что их секретный ИИ, помогающий с наймом, специально старался не нанимать женщин, по какой-то своей модели посчитав их менее полезными сотрудниками.

В итоге эту проблему очень сложно решить: нам нужен ИИ, чтобы обрабатывать всё растущие объемы данных. Но мы часто, из-за своей ограниченности, не можем проследить, чтобы выводы системы были справедливыми и не следовали каким-то бездушным машинным критериям, тихо дискриминируя людей по полу, цвету кожи или, скажем, фамилиям.

Ученый и врач Энтони Чели из Массачусетского технологического института пишет:

Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов в больницы и вообще в крупные структуры, пока не будем уверены, что они не принимают расистских или сексистских решений.

Остается много вопросов, на которых у нас нет ответа. Сейчас важно, как минимум, осознавать возможность проявления различной предвзятости в таких моделях. Особенно если мы собираемся передать им больше ответственности в будущем.

Несложно вообразить, какие последствия могут быть даже у немного расистского ИИ. Скажем, будет Tesla Маска ехать по дороге, и перед ней станет выбор: врезаться в белого пешехода, или в пару темнокожих. Или какой-то робот нахватается информации о Второй мировой, и почувствует, что с евреями вообще-то ассоциируется много всего плохого, так что надо навсегда закрыть их вопрос.

Такие истории уже существуют. Например, используемые в судах системы ошибочно решили, что темнокожие подсудимые в два раза чаще совершают повторные преступления. И поэтому назначали им больший залог, и предлагали давать более суровые сроки. А когда другую нейросеть использовали для подсчета затрат в сфере здравоохранения. она сделала вывод, что люди с темной кожей всегда здоровее, чем белые пациенты, даже если у них одни и те же болезни. Потому что на них тратилось меньше денег.

В 2016-м один ИИ, прошерстив интернет, вообще понял, что «белые» имена — это хорошо и приятно, а наличие людей с «черными» именами — это плохо… Если дать такому роботу что-то решать, то так можно и во времена рабовладения вернуться, или чего похуже.

Так что пока мы не выясним хотя бы, как машина умудряется видеть расу в рентгеновских снимках, робота-президента нам можно не ждать.

Промокод для читателей нашего блога!

— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.

50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 5 лет.