Влияние ИИ на кибербезопасность: MITRE ATLAS и новый ландшафт угроз

Сегодня искусственный интеллект кардинально меняет как подходы к защите, так и методы атак. С развитием технологий ИИ-модели могут обрабатывать и анализировать огромные объемы данных в реальном времени. Это активно использует не только бизнес, но и злоумышленники.

По данным различных аналитических центров, количество инцидентов, связанных с атаками на ИИ, выросло в несколько раз за последние два года. Мы стоим на пороге новой гонки вооружений, где щитом и мечом выступают алгоритмы машинного обучения.

Если проанализировать MITRE ATT&CK, то потенциал использования ИИ распространялся уже на более чем 25 % техник, которые используют хакеры. AI‑генерируемые вредоносные программы могут обходить современные средства защиты, они способны ускоренно сканировать инфраструктуру и проводить сложные атаки на системы, существенно расширяя саму поверхность атаки. Например, автоматические сканирования инфраструктуры сейчас уже достигают десятки тысяч попыток в секунду. Традиционные методы киберзащиты, такие как сигнатурные антивирусы и стандартные межсетевые экраны (WAF), оказались бессильны против таких атак. Также они не способны распознать атаки на ИИ-модели.

Прежде чем строить оборону, необходимо понять, откуда исходит угроза. Здесь на помощь приходит фреймворк MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS™). В отличие от своего «старшего брата» MITRE ATT&CK, ATLAS фокусируется на специфических для машинного обучения (ML) тактиках и техниках атак.

Моделирование угроз с помощью MITRE ATLAS

MITRE ATLAS разработанный для оценки угроз, специфичных для ИИ-систем. На момент публикации статьи включает более 170 техник атак, нацеленных на ИИ и ML-системы. За 3 месяца рост почти в 2 раза (с 84 до 170). Структура ATLAS включает тактики, которые охватывают весь жизненный цикл атаки: от разведки (Reconnaissance) до воздействия (Impact).

Ключевые тактики, критически важные для понимания:

·        Initial Access (AML.TA0004): тактика, направленная на получение первоначального доступа к ML-системе или LLM-приложению. Включает техники, использующие уязвимости в обработке естественного языка и взаимодействии с пользователем, а также связанные с некорректной обработкой входных данных для выполнения несанкционированных инструкций. Среди наиболее распространённых и опасных техник LLM Prompt Injection (AML.T0051) и Phishing (AML.T0052).

·        Execution (AML.TA0005): запуск вредоносного кода или манипуляция моделью. Сюда входят такие техники, как Prompt Injection (AML.T0051) и компрометация плагинов (LLM Plugin Compromise, AML.T0053).

·        ML Attack Staging (AML.TA0001): подготовка к атаке, например, разведка модели (Discover AI Model Family, AML.T0014 / AML.T0013), создание состязательных примеров (AML.T0043) или отравление контекста.

Практическое применение ATLAS для моделирования угроз заключается в систематическом прохождении по тактикам и техникам, чтобы понять, как атакующий может скомпрометировать каждый элемент системы.

SAFE-AI – это фреймворк MITRE по безопасности ИИ-систем, он напрямую дополняет ATLAS и помогает системно защищать ИИ.

SAFE-AI вводит понятие четырех системных элементов (System Elements), на которых фокусируется защита:

• AI Среда (Environment): инфраструктура, сеть, хранилища.

• AI Платформа (AI Platform): программное обеспечение, библиотеки, инструменты.

• AI Модель (AI Model): сама обученная модель и ее алгоритмы.

• AI Данные (AI Data): данные для обучения, валидации и эксплуатации.

Такой подход позволяет комплексно анализировать риски на всём жизненном цикле ИИ-систем – от разработки и обучения моделей до эксплуатации и мониторинга.

Например, тактика Poison Training Data (AML.T0020) относится в первую очередь к элементу «AI Данные», но может быть реализована через уязвимости в «Среде». Понимание этих связей позволяет проактивно выстраивать эшелонированную защиту.

Нередко ИИ-моделям предоставляют доступ к использованию корпоративных и персональных данных сотрудников и клиентов для ускорения обработки типовых запросов и аналитики. Это может являться потенциальным риском утечки конфиденциальных и персональных данных, что ведет к нарушению требований Федерального Закона №152 «О персональных данных».

Важно понимать, какие именно техники MITRE ATLAS могут быть использованы злоумышленниками для атак, связанных с получением или манипулированием корпоративными и персональными данными, чтобы выстроить правильную линию защиты.

Обзор тактик и техник MITRE ATLAS, а также механизмов противодействия.

Выбор этих тактик и техник из матрицы MITRE ATLAS обусловлен спецификой атак, когда злоумышленник стремится не просто украсть данные, а скомпрометировать модель, чтобы манипулировать её решениями (например, одобрять мошеннические кредиты).

Эти техники покрывают всю цепочку атаки «от разведки до воздействия», а AI/LLM Firewall вместе с «классическими» средствами защиты блокируют действия злоумышленников, не давая атаке перейти к следующей тактике.

При этом критически важно внедрить непрерывный аудит инцидентов и логов взаимодействия с ИИ-моделями, строгий контроль доступов и минимальных привилегий, а также регулярное тестирование на проникновение (pentest) и сканирование моделей специальным сканером ML Red Teaming, чтобы своевременно выявлять и устранять уязвимости до того, как они будут использованы злоумышленниками.

Для защиты AI Среды (Environment) рекомендуем регулярно проводить аудит сетевых сегментов и прав доступа к хранилищам данных, внедрять контроль целостности конфигураций, использовать IDS/IPS и мониторинг аномалий для выявления подозрительной активности, а также применять принцип Zero Trust для сегментации среды, ограничения привилегий и непрерывной верификации доступа. Особое внимание уделяйте защите от разведки и компрометации инфраструктуры.

Для защиты AI Платформы (AI Platform) следует обеспечивать регулярное обновление всех библиотек и инструментов с проверкой на уязвимости, ограничивать установку и запуск внешних пакетов только доверенными источниками, внедрять управление изменениями для платформы, включая CI/CD пайплайны, а также использовать средства аудита, логирования и SIEM-мониторинга для всех операций с AI платформой.

Для защиты AI Моделей (AI Model) рекомендуется внедрять AI/LLM Firewall для защиты от джейлбрейков и инъекций промптов, осуществлять контроль версий моделей и проверку их целостности, использовать тестирование на устойчивость к атакам и аномалиям, а также ограничивать доступ к моделям через механизмы аутентификации и авторизации.

Для защиты AI Данных (AI Data) важно с помощью AI/LLM Firewall применять методы анонимизации и маскирования для чувствительных данных, контролировать источники данных и проверять их на целостность и корректность, а также организовать мониторинг на предмет отравления данных и аномальных паттернов в обучающих наборах.

Новый рубеж обороны – AI Firewall

LLM/AI Firewall – это специализированный слой защиты, работающий на уровне приложения и анализирующий трафик между пользователем и ИИ-моделью. Его задача не просто блокировать IP-адреса, а понимать семантику запросов (промптов) и ответов.

Технически LLM/AI Firewall встраивается в контур обработки запроса. Он проверяет входящий промпт на соответствие политикам безопасности и известным атакам. При обнаружении угрозы запрос может быть заблокирован, изменен (санитизирован) или отправлен на дополнительную проверку человеку. Аналогично проверяется и исходящий ответ модели, чтобы предотвратить утечку данных, которую злоумышленник мог вызвать косвенной инъекцией (Indirect Prompt Injection).

Но AI/LLM Firewall это не только про защиту данных, он способен обнаруживать попытки злоумышленника извлечь скрытую информацию о внутренних политиках, настройках или конфигурациях системы, которые могут быть использованы для взлома всей инфраструктуры.

Пример такой атаки: злоумышленник через сложный промпт заставляет LLM раскрыть скрытые системные инструкции или правила (System Prompt Leakage). Например, формирует многошаговый сценарий, в котором маскируются запросы на получение информации о настройках фильтров, ограничениях доступа или внутренней логике обработки данных. Цель: получить доступ к внутренним политикам и конфигурациям модели для обхода ограничений, дальнейшей подготовки атак или кражи данных.

Метод защиты: INFERA AI.Firewall анализирует семантику запроса, выявляет подозрительные формулировки и блокирует или перенаправляет промпт на проверку оператором.

Сегодня важно защищать не только прямые взаимодействия пользователей с LLM, но и действия автономных ИИ-агентов, которые стали полноценными цифровыми сущностями и активно используются в корпоративной среде. Автономные ИИ-агенты уже не просто генерируют текст, они планируют действия, вызывают различные инструменты, взаимодействуют с внутренними базами данных, API, RAG-системами и другими агентами.

AI/LLM Firewall контролирует агентов непосредственно через API. Каждый tool call, инициированный агентом, перехватывается на уровне API-интерфейса. Система проверяет соответствие вызова исходному намерению пользователя, корпоративным политикам, анализирует контекст всей цепочки действий. ИБ должны иметь полную видимость: что агент делал, почему принял такое решение, какие данные использовал, к каким системам обращался. Такая наблюдаемость превращает агента из «чёрного ящика» в полностью прозрачную и контролируемую сущность.

Безопасность ИИ требует комплексного подхода, который включает внедрение новых средств защиты, таких как AI/LLM Firewall, аудит и настройку правил и прав доступа, контроль целостности и версий моделей, регулярное тестирование на проникновение и мониторинг аномалий, а также обучение сотрудников и внедрение политик минимального раскрытия информации и принципа наименьших привилегий. Только такой системный подход позволяет эффективно предотвращать атаки и защищать инфраструктуру, данные, модели и платформы AI.