Крупнейшая в мире площадка для ИИ-моделей Hugging Face сообщила о вторжении в свою инфраструктуру, которое отличалось от всего, с чем компания сталкивалась раньше, одной деталью: атаку от начала и до конца провела автономная система ИИ-агентов. Причем и поймала, и разобрала атаку компания во многом тоже с помощью ИИ.
По оценке компании, злоумышленник получил несанкционированный доступ к ограниченному набору внутренних датасетов и к нескольким учетным данным, которые используют сервисы Hugging Face. При этом следов подмены в публичных моделях, датасетах и Spaces не нашли, а цепочку поставки — образы контейнеров и опубликованные пакеты — проверили и признали чистой. Оценку того, затронуты ли данные партнеров и клиентов, компания на момент публикации еще не закончила и обещала связаться с пострадавшими напрямую, если проблемы обнаружатся.
Hugging Face — открытая площадка, куда любой пользователь заливает свои датасеты, и злоумышленник просто загрузил вредоносный набор данных. Тот попал в штатный конвейер обработки и задействовал сразу две дыры: загрузчик, исполняющий удаленный код, и инъекцию в шаблон конфигурации датасета. Этого хватило, чтобы выполнить произвольный код прямо на рабочем узле-обработчике. По сути, набор данных пересек границу доверия и превратился в исполняемый код — а именно этого конвейер, работающий с чужими артефактами, допускать не должен.
Дальше атака разворачивалась по классической схеме, но с пугающей скоростью. С воркера злоумышленник поднялся до уровня ноды, собрал облачные и кластерные учетные данные и за выходные распространился по нескольким внутренним кластерам. Расчет на выходные понятен: меньше человеческого внимания, больше времени до момента, пока атаку раскроют.
По описанию Hugging Face, кампанию вел автономный агентный фреймворк — причем, судя по всему, собранный на основе инструмента, который создавался для легальных исследователей безопасности. Работал он не как человек в одной консоли: система параллельно запускала множество короткоживущих песочниц — изолированных одноразовых окружений, каждое из которых делало свою часть работы и быстро исчезало. В сумме набежали многие тысячи отдельных действий. Управляющую инфраструктуру (C2 — каналы, через которые атакующий отдает команды) агент размещал на публичных сервисах и постоянно переносил с места на место, так что зацепиться за один устойчивый адрес или сессию защите было не за что. Всю картину компания называет ровно тем сценарием атакующего ИИ-агента, который индустрия давно предсказывала.
То, как оборонялась платформа — не менее интересный сюжет. Первым тревогу поднял не человек: аномалии в телеметрии безопасности размечал LLM-триаж, и именно корреляция его сигналов вскрыла компрометацию. Чтобы понять, что натворил рой из десятков тысяч автоматических действий, инженеры прогнали через ИИ-агентов полный лог атаки — более 17 000 зафиксированных событий. Так удалось восстановить хронологию, вытащить индикаторы компрометации, составить карту затронутых кредов и отделить реальный ущерб от действий-обманок. Работа, которая обычно занимает дни, заняла часы — под стать скорости противника.
Не обошлось и без курьезов. Когда команда взялась за анализ логов, она сначала обратилась к передовым западным моделям через коммерческие API (конкретные названия не раскрываются) — и это не сработало. Для разбора нужно было загрузить в модель реальные атакующие команды, эксплойт-пейлоады и C2-артефакты, но все это блокировалось: защитные фильтры провайдеров попросту не отличают специалиста по реагированию на инцидент от самого атакующего.
На помощью пришла открытая модель GLM 5.2: ее развернули на собственной инфраструктуре и быстро выполнили требовавшийся разбор. Дополнительный плюс такого подхода в том, что ни данные атаки, ни упомянутые в них учетные данные не покидали периметр компании. Практический урок, который Hugging Face выносит для всех защитников, простой: держите проверенную модель, способную работать на вашем железе, наготове до инцидента — и чтобы не упереться в блокировку гардрейлами, и чтобы чувствительные данные не утекали наружу.
Вывод, к которому Hugging Face: данные и модели теперь надо считать первоклассной поверхностью атаки, а защищаться приходится ИИ на скорости машин. Рядовым пользователям Hugging Face советует на всякий случай ротировать токены доступа и проверить недавнюю активность в аккаунте.
P.S. Поддержать меня можно подпиской на канал сбежавшая нейросеть, где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1060606/