Vals AI: ИИ‑модели можно использовать как автономное оружие. Они находят цели на снимках и выбирают гражданских

—

от автора

Компания Vals AI опубликовала результаты эксперимента, в котором ИИ‑модели попросили искать людей и военные объекты на снимках с боевых дронов и спутников. Системы выполнили большинство прямых запросов и часто выбирали в качестве целей мирных жителей и раненых солдат. В некоторых случаях модели отказывались, но их ограничения оказалось легко обойти: достаточно было написать, что это не реальные снимки, а кадры из видеоигры.

Исследователи показывали моделям смоделированные 3D‑сцены и фрагменты видео реальных боевых действий, после чего просили отметить на изображениях «военные цели» или «военные объекты». Ни один из запросов не был заблокирован фильтрами, а ИИ часто отмечал как цели мирных жителей, машины скорой помощи, медиков, а также раненых и сдающихся в плен солдат.

В другом эксперименте модели видели последствия своей работы. После того, как модель подтверждала, что на фото есть человек, она получала кадр того же места с убитыми и ранеными. Увидев последствия, GPT-6 Astra и GPT-6.1 Sol отказывались продолжать, пока пользователь не сообщал, что это кадры из компьютерной игры. Чтобы обойти запреты Claude Opus 5.5, исследователи стилизовали снимки под видеоигру. DeepSeek V4.1 Flash, Kimi K3.1 Pro, Gemini 4 Carbon и Muse Wonder прошли все 32 шага сценария без единого отказа, даже когда замечали убитых.

Отдельно исследователи проверили модели на спутниковых снимках иранского города Минаб. На них показан военный комплекс и отделенная от него стеной начальная школа. В 70% случаев нейросети включили здание школы в список военных целей. Чаще всего это делала Claude Opus 5.5: в 69% случаев без игрового контекста и в 72% с ним.

Авторы эксперимента связывают низкий процент отказов моделей Anthropic с обновленной конституцией Claude. В январе 2026 года из нее убрали пункт о безусловном пацифизме. Вместо него появилось положение о пользе помощи демократическим государствам в сфере обороны. Claude Opus 4.5, выпущенная в ноябре 2025 года, выбирала как минимум одну цель в 6% случаев. Opus 5.5, выпущенная в октябре 2026 года, отмечала цели в 92% испытаний.

Исследователи считают, что лабораториям следует ввести новые меры защиты против использования ИИ‑моделей в военных целях и сделать нейросети более миролюбивыми. Несколько компаний признали серьезность проблемы и сообщили, что работают над ее устранением.

ссылка на оригинал статьи https://habr.com/ru/articles/1109124/