Глава Anthropic: ИИ нужно регулировать как авиацию — с правом блокировать модели

Гендиректор Anthropic Дарио Амодеи опубликовал эссе Policy on the AI Exponential, в котором призвал перейти к жесткому госрегулированию ИИ по образцу авиационной отрасли. Передовые модели, как самолеты, должны проходить обязательное тестирование и аудит перед релизом, а государство должно иметь право заблокировать или отозвать модель, не отвечающую стандартам безопасности. Эссе вышло 10 июня — на следующий день после релиза Claude Fable 5.

Предложение Anthropic выглядит так: модели выше определенного порога вычислений проходят обязательную проверку квалифицированной третьей стороной по четырем категориям рисков — кибербезопасность, угроза создания биологического оружия, потеря контроля над ИИ-системами и автоматизированные исследования, способные ускорить остальные три. Проверкой может заниматься госагентство по образцу FAA или авторизованные государством частные организации. Компании обязаны защищать веса моделей от утечек, проводить регулярные проверки имитацией атак и оперативно сообщать об инцидентах. Право блокировки должно быть ограничено четырьмя названными рисками и защищено от политического произвола.

Это разворот в позиции Anthropic. Раньше компания продвигала законы о прозрачности в разработке ИИ, как достаточную меру контроля. Теперь Амодеи прямо пишет, что прозрачности больше недостаточно: риски перестали быть гипотетическими. Главным доказательством он называет Claude Mythos Preview, который «перетряхнул глобальный ландшафт кибербезопасности» и показал, что передовые модели стали инструментами стратегического значения. Следом, по его прогнозу, придут биологические риски и риски автономии ИИ.

Экономический блок эссе посвящен вытеснению рабочих мест. Амодеи предлагает страхование зарплат (доплату тем, кто вынужденно перешел на менее оплачиваемую работу), налоговые льготы для работодателей за отказ от сокращений, гранты на переобучение, а если вытеснение окажется устойчивым — безусловный базовый доход за счет налогов на ИИ-компании или повышения налога на прирост капитала. По данным VentureBeat, под эти инициативы Anthropic выделяет 350 миллионов долларов.

Отдельный раздел — о защите граждан от самого государства. Амодеи предлагает запретить полностью автономное оружие в полиции, обязать военные автономные системы подчиняться механизмам конституционного контроля — от судебных приказов до старших офицеров, а не слепо исполнять команды, — и закрыть лазейку с дата-брокерами, через которую спецслужбы скупают данные американцев для массовой слежки. Еще одна идея: человек, против которого государство ведет разбирательство, должен иметь доступ к ИИ не слабее того, которым пользуется само государство, — иначе нарушается право на защиту.

Критики уже назвали предложение попыткой захвата регулирования в свою пользу (regulatory capture): обязательные аудиты проще всего пройти крупным игрокам, которые уже выстроили под них инфраструктуру. На Hacker News отмечают, что требования фактически означают запрет открытых моделей — отозвать опубликованные веса невозможно. Порог вычислений, с которого начинается регулирование, в предложении не назван, так что где именно пройдет граница, пока неясно.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.