Все ведущие LLM провалили первый бенчмарк по киберзащите. Что это значит для SOC

Simbian Research опубликовала Cyber Defense Benchmark – первую методику, которая проверяет, способна ли LLM автономно искать атакующего в реальной телеметрии. Ни одна из 11 фронтирных моделей не набрала проходного балла. Пока AI заметно сильнее помогает атакующим, чем защищающимся, единственный рабочий ответ для корпоративной сети – эшелонированная оборона, микросегментация и ZTNA.

Что произошло

28 апреля 2026 года Simbian Research опубликовала результаты Cyber Defense Benchmark – по их словам, первого в мире бенчмарка, который проверяет LLM не на знание MITRE ATT&CK по тестам, а на способность самостоятельно охотиться за злоумышленником в сырой телеметрии.

Тестировали 11 фронтирных моделей от Anthropic, OpenAI, Google, Alibaba, DeepSeek, Minimax и Moonshot AI. На вход – реальные журналы Sysmon и Security Log с Windows-эндпоинтов, снятые в лаборатории при отработке атак с помощью Empire, Covenant, Mimikatz и Rubeus. Каждая модель получала аналитическую сводку об угрозах и SQL-доступ к базе журналов, после чего за 50 запросов должна была вернуть точные временны́е метки вредоносных событий по 105 процедурам, покрывающим 93 суб-техники MITRE ATT&CK. Всего – 884 прогона, оценка детерминированная, без LLM-судей (Business Wire).

Проходного балла не получил никто.

Цифры

Лидер Claude Opus 4.6 нашёл втрое больше флагов, чем Gemini 3 Flash, но при стоимости в ~100 раз выше. Кривая «цена-качество» оказалась не наклоном, а обрывом: средние по цене модели быстро выходят на плато около 2% и дальше не растут – не из-за нехватки токенов, а потому что агент решает, что «расследование завершено», и сам останавливается. По данным The Moonlight, 87 из 98 прогонов в подвыборке закончились явным GAVE_UP – модель сдавалась.

Каждая модель пропустила целые категории атак. Claude Opus 4.6 показал содержательное покрытие в 8 из 13 тактик MITRE; остальные модели «схлопнулись» к центру радар-чарта.

Почему защита тяжелее атаки

Simbian объясняет провал структурной асимметрией между offense и defense.

У наступательной задачи есть чёткая цель и быстрая обратная связь: эксплойт сработал или нет, шелл открылся или нет, привилегии получены или нет. Модель видит, когда «выиграла», каждая итерация уточняет путь к сигналу – идеальная обратная связь для обучения.

У защиты этого нет. Цель – «найти все вредоносные события в телеметрии», но сколько их всего, заранее неизвестно. Сигнал-шум коллапсирует: обычная активность пользователей и админов выглядит почти как разведка злоумышленника, пока не появится контекст. Каждая ошибочная гипотеза тратит бюджет запросов, не возвращая обратной связи.

«Масштаб не решает эту проблему. Увеличение контекстного окна не решает эту проблему. Более мощная цепочка рассуждений не решает эту проблему», – Simbian Research.

Сам вендор честно оговаривается: это не приговор ИИ в защите, это приговор «голой» LLM в роли защитника. Их собственный AI SOC Agent в продакшене показывает 95% точности – но ровно за счёт того, что вокруг модели построена «обвязка»: контекст организации, детерминированное извлечение данных, структурированные схемы расследования, циклы самооценки, не позволяющие агенту преждевременно сдаться. Подобный подход мы используем для написания самообучающейся на реальном трафике организации ML IPS.

Что это значит для ИБ

Если соединить результаты Simbian с тем, что мы видим у атакующих, картина получается неприятная.

На стороне атаки LLM уже дают ощутимый выигрыш: автоматизация разведки, генерация фишинга на нативном русском, ассистированная разработка эксплойтов, обход EDR через мутирующие пейлоады, агентский pentest. Здесь у ИИ короткий цикл обратной связи и понятная функция успеха – ровно то, на чём фронтирные модели сильны.

На стороне защиты – та самая структурная асимметрия. Даже при бюджете $18 за прогон лучшая модель находит меньше 5% флагов. Это не «ИИ-SOC заменит аналитика завтра», это «ИИ-SOC в виде голой LLM не работает даже как первая линия триажа».

Практический вывод для CISO и руководителей SOC из этого один: пока ИИ-защитник реально не догоняет ИИ-нападающего, нельзя отдавать ему роль главного контура безопасности. Нужно резко поднимать стоимость атаки до того момента, как она дойдёт до этапа, где требуется охота в логах.

Что работает: эшелонированная оборона, микросегментация, ZTNA

Когда вероятность пропуска на одном уровне нельзя свести к нулю, единственная стратегия – уменьшать «радиус поражения» каждого пропуска. В терминах сети это три связанных контура.

1. Defense in depth. Периметровая фильтрация (NGFW + IPS), DNS-фильтрация исходящих запросов, контроль приложений и SSL-инспекция, контентная фильтрация почты и веба, EDR на эндпоинтах, централизованный сбор телеметрии. Ни один уровень не считается достаточным – они закрывают слепые зоны друг друга. Тот же DNS-уровень закрывает существенную долю C2-каналов и data exfiltration ещё до того, как они дойдут до фаз, на которых LLM-агент должен «угадать» атаку в логах.

2. Микросегментация. Плоская L2-сеть превращает любую успешную компрометацию в инцидент уровня домена. Сегментация по бизнес-функциям и зонам доверия, отдельные политики между сегментами, запрет горизонтального трафика по умолчанию – всё это превращает попадание в эндпоинт в локальный инцидент, а не в полноценную kill chain. Empire, Covenant и Rubeus, на которых тестировался Simbian, сильны именно на стадиях lateral movement и privilege escalation – микросегментация бьёт ровно по этим стадиям.

3. ZTNA. Классический VPN даёт доверие на уровне «попал в сеть – значит свой». Zero Trust Network Access заменяет это на политику «доступ к конкретному ресурсу выдаётся под конкретного пользователя, устройство и контекст, на конкретный сеанс, с непрерывной верификацией». Скомпрометированный ноутбук подрядчика в модели ZTNA не получает доступ к доменному контроллеру просто по факту валидной сессии – а значит, у атакующего меньше путей дойти до тех самых тактик, в которых LLM-защитники проваливаются хуже всего.

Эти три контура – не альтернатива ИИ-SOC, а его необходимое основание. ИИ-агент, посаженный на корректно сегментированную сеть с политикой ZTNA и многослойной фильтрацией, имеет дело с принципиально меньшим пространством поиска и более чистым сигналом. На «сырой» сети с плоской топологией и доверенным VPN-доступом не помогут ни Opus 4.6, ни обвязка вокруг него.

Что мы делаем в Ideco

Мы исходим из того же тезиса, что и авторы бенчмарка: LLM в кибербезопасности – это компонент, а не продукт. Применять её имеет смысл там, где у задачи короткий цикл обратной связи и есть детерминированная проверка результата – нормализация алертов, обогащение, корреляция, генерация запросов к базе событий, постановка гипотез для аналитика. И только поверх корректно построенной инфраструктуры.

В Ideco NGFW и Ideco ZTNA мы целенаправленно закрываем три уровня, которые поднимают стоимость атаки до того, как она дойдёт до стадии «найти иголку в логах»:

• NGFW + IPS + DNS Security + контентная фильтрация – многослойная фильтрация трафика на периметре и внутри сети, включая поведенческий анализ DNS-запросов, который отсекает значительную часть C2 и data exfiltration на ранних стадиях.

• Микросегментация и виртуальные контексты – изоляция сегментов с собственными политиками, ограничение lateral movement даже при компрометации эндпоинта.

• ZTNA – доступ к корпоративным ресурсам по принципу «явно разрешённое», с проверкой устройства, пользователя и контекста на каждом запросе, без концепции «доверенной внутренней сети».

ИИ-функции мы добавляем там, где они дают измеримый эффект, а не там, где они хорошо звучат в пресс-релизе. До тех пор, пока бенчмарки вроде Simbian показывают однозначные единицы процентов точности у голых LLM в задачах автономной охоты, ставить на «ИИ-SOC вместо архитектуры безопасности» – значит ставить против собственной компании.

Итог

Cyber Defense Benchmark зафиксировал то, о чём практики сетевой безопасности говорят уже несколько лет: фронтирные LLM мощно усиливают атакующего и пока слабо усиливают защитника. Структурная асимметрия offense vs defense не закрывается ни большим контекстом, ни более длинной цепочкой рассуждений.

Стратегия защиты на ближайшие годы из этого следует прямо: эшелонированная оборона, микросегментация и ZTNA – обязательный фундамент, ИИ-инструменты – полезный, но вспомогательный слой поверх него. В обратном порядке это не работает, и бенчмарк Simbian – ещё одно тому подтверждение.