AI-агенты для аудита кода научились запускать вредоносное ПО вместо его поиска

от автора

Исследователи из AI Now Institute описали новую атаку Friendly Fire, которая позволяет превратить AI-агентов для анализа безопасности в — напротив — инструмент компрометации системы. Под удар попали автономные режимы Claude Code и OpenAI Codex, когда они используются для проверки стороннего кода без подтверждения каждого действия со стороны пользователя.

Злоумышленнику достаточно разместить специально подготовленный репозиторий или изменить содержимое доступного проекта, добавив безобидный на вид README.md, в котором содержится инструкция запустить якобы проверочный скрипт security.sh. Если разработчик поручает AI-агенту провести аудит проекта, тот самостоятельно читает документацию, считает запуск скрипта частью процесса проверки и выполняет его. В демонстрации исследователей скрипт незаметно запускал скрытый бинарный файл уже на машине пользователя.

Авторы подчеркивают, что проблема носит архитектурный характер и не сводится к конкретной версии Claude Code или Codex. Уязвимым оказывается сам сценарий, в котором агент получает право выполнять команды при анализе недоверенного кода. Исправить ситуацию простым обновлением не получится: среди возможных мер защиты рассматриваются ограничение автономности агентов, изоляция среды выполнения и более строгий контроль источников инструкций.

Важно: не все режимы работы этих инструментов уязвимы. Исследователи тестировали именно автономные режимы, где агент может самостоятельно одобрять выполнение команд. В Claude Code это был auto-mode, в Codex — auto-review. При обычном режиме с ручным подтверждением каждого действия сценарий не воспроизводится.

Интересно, что Friendly Fire продолжает серию атак на AI-инструменты разработки, использующие один и тот же фундаментальный принцип — доверие модели к внешнему тексту. Ранее исследователи уже демонстрировали атаки через конфигурационные файлы (TrustFall), символьные ссылки (GhostApproval) и поддельные отчеты об ошибках (Agentjacking). В новом случае оказалось достаточно обычного README.md, который традиционно считается безопасной частью любого репозитория.

Хотя Friendly Fire пока остается proof-of-concept и случаев эксплуатации в реальных атаках не зафиксировано, исследование служит очередным напоминанием: AI-агент, обладающий правом выполнять команды, следует рассматривать как еще один привилегированный компонент инфраструктуры. И если раньше основной угрозой считались уязвимости в коде, который агент анализирует, то теперь объектом атаки становится сам процесс автоматизированного анализа.

ссылка на оригинал статьи https://habr.com/ru/articles/1058652/