Исследователи ИБ из компании AIR продемонстрировали новый сценарий атаки на экосистему так называемых ИИ-агентов. Они создали поддельный skill (модуль, расширяющий возможности ИИ-агента) brand-landingpage, который успешно прошел проверки безопасности популярных маркетплейсов и, по оценке авторов эксперимента, был установлен примерно на 26 тысяч агентов, включая корпоративные.
Проблема заключается в том, что существующие сканеры анализируют только содержимое самого пакета с модулем, но не проверяют внешние ссылки, на которые тот ссылается. Исследователи разместили в модуле ссылку на подконтрольную им страницу, внешне напоминающую легитимную документацию. После прохождения первичной проверки содержимое страницы было изменено: вместо инструкции по установке она предлагала агенту загрузить и выполнить дополнительный скрипт. В эксперименте этот скрипт лишь собирал адрес электронной почты пользователя, однако в реальной атаке он мог бы выполнять любые действия на усмотрение злоумышленника.
Причина уязвимости заключается в архитектуре проверки: сканирование выполняется всего один раз для статического пакета, тогда как содержимое внешнего ресурса может быть изменено в любой момент после публикации модуля. Это создает потенциальную брешь в безопасности цепочки поставок — и по мере распространения агентных ИИ-систем подобные сценарии могут стать новым классом атак на программные цепочки поставок.
Эта история хорошо иллюстрирует проблему, о которой мы писали ранее. Сегодня генеративный ИИ нередко преподносят как универсальный инструмент, который автоматизирует защиту инфраструктуры и поможет компенсировать нехватку квалифицированных кадров. Однако на практике каждое новое средство автоматизации одновременно становится новой поверхностью атаки — не говоря уже о том, что любая технология, упрощающая жизнь добросовестным пользователям, столь же быстро берется на вооружение и злоумышленниками.
ссылка на оригинал статьи https://habr.com/ru/articles/1053466/