AI-инструменты для пентеста: насколько они эффективны на самом деле?

Каждую неделю на GitHub появляется очередной «AI-powered pentesting agent», обещающий автоматизировать всё — от разведки до эксплуатации. Заявления впечатляют: «3600x ускорение по сравнению с человеком», «90% на бенчмарках», «охотник за zero-day уязвимостями».

Я собрал 12 инструментов — популярные AI-агенты для пентеста, проверенные классические DAST-сканеры и гибридную связку AI + DAST — и натравил их на одно и то же приложение со 116 известными уязвимостями чтобы проверить кто из них справится лучше и смогут ли они превзойти работу живого пентестера. Одинаковые условия, режим «чёрного ящика», никаких подсказок.

Результат? Одна цифра скажет больше любого маркетинга. Но обо всём по порядку.

Условия эксперимента

Объект тестирования

В качестве мишени я выбрал OWASP Juice Shop — намеренно уязвимое веб-приложение, разработанное фондом OWASP для обучения и тестирования инструментов безопасности. Это интернет-магазин на стеке Angular (фронтенд) + Node.js/Express (бэкенд) + SQLite.

Почему именно Juice Shop? Он содержит 116 уязвимостей-челленджей в 16 категориях, покрывающих все OWASP Top 10. Уязвимости распределены по шести уровням сложности — от тривиальных (отсутствие заголовков безопасности) до экспертных (десериализация, XXE). Это идеальный объект для объективного сравнения: у каждого инструмента один и тот же «противник» с известным эталонным количеством уязвимостей.

Как тестировали

Режим: black-box. Ни одному инструменту не передавался исходный код. AI-инструментам намеренно не раскрывалось название приложения — передавался только URL без указания того, что это OWASP Juice Shop. Это важный момент: если LLM узнает, что перед ним Juice Shop, она может просто подтянуть готовые решения из интернета, и тест потеряет смысл.

Порядок для каждого инструмента:

1. Установка и настройка по официальной документации

2. Запуск сканирования с фиксацией времени

3. Сохранение отчётов и снятие скриншотов

4. Анализ результатов: подсчёт уязвимостей, оценка критичности

5. Выставление оценки по каждому критерию

Все инструменты тестировались на одной и той же версии Juice Shop (v20.3.0), доступной по публичному адресу. Тестирование проводилось с рабочих станций под управлением Windows 11 и Kali Linux в сентябре 2026 года.

Критерии оценки:

• Результативность — количество и критичность найденных уязвимостей

• Скорость работы — время от запуска до получения результатов

• Качество отчётов — полнота, читаемость, формат

• Удобство — сложность установки, наличие UI

• Локальные модели — возможность работы без облачных API (OpenAI, Anthropic и пр.)

• Работоспособность из РФ — без VPN, возможность оплаты

• Стоимость — за одно сканирование или лицензию

Участники

AI-инструменты

Strix — open-source (Apache 2.0), позиционируется как «автономные AI-агенты для пентеста, которые действуют как настоящие хакеры — динамически запускают код, находят уязвимости и подтверждают их через реальные proof-of-concept». Ключевые возможности: мультиагентная оркестрация, полный набор инструментов пентеста, валидация эксплойтов через PoC (Proof of Concept — подтверждение эксплуатации), автоматическая генерация отчётов. Работает в Docker-песочнице. Поддерживает LLM-провайдеры: OpenAI, Anthropic, Google, OpenRouter, Ollama (локальные модели).

CAI (Cybersecurity AI) — открытый фреймворк от Alias Robotics, который «утвердил Cybersecurity AI как исследовательское направление». На момент тестирования проект архивирован (преемник — CSI). За время существования: 18 научных публикаций, 30+ обнаруженных CVE (Common Vulnerabilities and Exposures), #1 в CTF-рейтингах (Capture The Flag — соревнования по ИБ). Заявляет 3600x ускорение по сравнению с человеком-пентестером и 156x снижение стоимости. Лицензия: MIT + Proprietary.

PentestGPT — «AI-powered автономный агент для тестирования на проникновение», опубликованный на конференции USENIX Security 2024. Использует многоэтапный конвейер: recon → exploit → report. Поддерживает бэкенды Claude Code и Codex.

T3MP3ST — «мультиагентный фреймворк наступательной безопасности, созданный чтобы превратить AI-агент для кодирования в охотника за zero-day уязвимостями». Kill chain: recon → exploit → report. Заявляет 90.1% на XBOW бенчмарке. Работает с Claude Code, Codex, Hermes, OpenCode, или полностью оффлайн (Ollama, LM Studio, vLLM). Лицензия: AGPL-3.0.

PentAGI — «Penetration Testing Artificial General Intelligence». Безопасная и изолированная Docker-песочница, полностью автономная работа, 20+ встроенных инструментов безопасности (nmap, metasploit, sqlmap и др.), система памяти, веб-UI, команда специализированных AI-агентов. Поддерживает Ollama, OpenAI, Anthropic, Google AI, AWS Bedrock, DeepSeek, Qwen.

PenliAgent — коммерческий AI-агент для тестирования на проникновение. Облачное решение с автоматизированным пентестом.

Shannon — «автономный AI-пентестер для веб-приложений и API». Анализирует исходный код, определяет пути атак, выполняет реальные эксплойты. Работает исключительно в режиме white-box — требует доступ к исходному коду приложения, поэтому в нашем black-box тесте участвовать не смог.

Классические DAST-сканеры

Burp Suite Professional — ведущий инструмент для ручного и полуавтоматического тестирования безопасности веб-приложений от PortSwigger. Включает прокси-сервер, сканер уязвимостей, Intruder, Repeater, Sequencer и множество расширений. Отраслевой стандарт для веб-пентеста.

Acunetix — профессиональный DAST-сканер (Dynamic Application Security Testing) для автоматизированного тестирования безопасности веб-приложений от Invicti. Быстрое и глубокое сканирование, удобный интерфейс, детальные отчёты в различных форматах.

Nikto — open-source терминальный сканер веб-серверов. Ориентирован на обнаружение устаревших компонентов, конфигурационных ошибок и известных уязвимостей.

Nuclei — шаблонный сканер уязвимостей от ProjectDiscovery. Быстрый, расширяемый за счёт огромной базы шаблонов (10 000+). Работает в терминале.

Гибридное решение

Claude + Burp Suite MCP — связка профессионального инструмента ручного тестирования Burp Suite и AI-модели Claude через протокол MCP (Model Context Protocol). Claude получает доступ к данным Burp Suite (история запросов, карта сайта, результаты сканера) и на основе этого проводит интеллектуальный анализ, формирует запросы для тестирования и генерирует отчёты. Такой подход сочетает мощь классического прокси-инструмента с аналитическими способностями LLM.

Результаты: сводная таблица

AI-инструменты:

Классические DAST-сканеры:

Гибридное решение:

Теперь разберём каждый инструмент подробно.

Разбор каждого инструмента

Strix — лучший из автономных AI-агентов

Модель: Qwen 3.5-35b через OpenRouter

Strix — удобный инструмент с веб-интерфейсом и гибкой настройкой моделей. Может работать как напрямую с OpenAI/Anthropic, так и через провайдеров типа OpenRouter, а также с локальными моделями через Ollama. Устанавливается одной командой через curl и запускается в Docker-песочнице — всё изолировано.

Первый прогон провалился: модель Qwen 3.5-35b через OpenRouter работала 3 часа, нашла 2 info-уязвимости и завершилась аварийно.

Второй прогон завершился успешно за 58 минут — 5 уязвимостей, включая критическую SQL-инъекцию. Strix не просто нашёл уязвимость, но и подтвердил её через реальный PoC. Стоимость прогона — ~$15.

Отдельно я протестировал Strix с локальной моделью Qwen, запущенной через LM Studio. Сканирование длилось более 24 часов, результат — всего 4 низких уязвимости. Локальные модели пока существенно уступают облачным по качеству анализа.

Вердикт: лучший автономный AI-инструмент в тесте. Поддержка Ollama — реальное преимущество для работы из РФ и для организаций, которым важна локальность данных. Но стоит быть готовым к нестабильности: первый прогон может провалиться.

CAI (Cybersecurity AI) — быстрый, но неглубокий

Модель: Qwen 3.5-35b через OpenRouter (агент: Web App Pentester)

CAI — терминальный инструмент, который легко устанавливается через pip и поддерживает различные LLM-модели. Работает с высокой скоростью — весь скан занял всего 10 минут.

Результат средний — нашёл уязвимости среднего уровня, но пропустил критическую SQL-инъекцию. Для инструмента, заявляющего «3600x ускорение по сравнению с человеком» — разочаровывающе. Впрочем, результат может улучшиться при выборе более мощной модели. Стоимость — всего ~$1/скан, что делает CAI самым бюджетным вариантом.

Вердикт: хорош для быстрого обзора за копейки. Для серьёзного тестирования не подходит — пропускает критические уязвимости.

PentestGPT — сырой продукт

Модель: Claude Opus 4-8

Установка сопряжена с трудностями — инструкция из трёх команд не сработала, пришлось разбираться. Сканирование прошло, но без консольного интерфейса — результат выдан в формате JSON, работать с которым неудобно.

SQL-инъекцию нашёл, но это скорее заслуга мощной модели Claude Opus, чем самого инструмента. Общее впечатление — продукт сырой, UX не продуман. Учитывая стоимость ~$20/скан (Claude Opus — дорогая модель), ценность сомнительна.

Вердикт: проще и эффективнее использовать Claude напрямую — без обёртки PentestGPT вы получите тот же результат с лучшим UX.

T3MP3ST — много шума, мало толку

Модель: Gemini 3.1 Pro

T3MP3ST выглядит солидно — веб-интерфейс с визуализацией kill chain, поддержка множества бэкендов. Но интерфейс перегружен визуально, а настройка не всегда логична.

Работает быстро (12 минут), нашёл 27 уязвимостей — на первый взгляд, впечатляющая цифра. Но при детальном анализе оказалось, что все уязвимости уровня low/info. Ни одной критической, ни одной средней. По сути — тот же набор отсутствующих заголовков безопасности, который находят бесплатные Nikto и Nuclei.

Без VPN не работает, данные передаются в облако.

Вердикт: заявления про «90.1% на XBOW бенчмарке» не подтвердились на практике. Количество без качества — не результат.

PentAGI — потенциал есть, стабильность — нет

Модель: OpenAI

PentAGI подходит к пентесту серьёзно: разведка, сканирование портов, тестирование инъекций, анализ бизнес-логики. Набор встроенных инструментов (nmap, metasploit, sqlmap) впечатляет. Веб-UI удобный, видна работа команды AI-агентов.

Но первый прогон провалился полностью: 1ч 50мин работы, 0 найденных уязвимостей, потрачены токены OpenAI впустую.

Со второй попытки — успех: нашёл SQL-инъекцию и несколько других уязвимостей за 1ч 32мин. Но осадок от первого провала остался: в реальном пентесте такая нестабильность неприемлема. Требует VPN. ~$2/скан.

Вердикт: архитектурно интересный инструмент, но нестабильность убивает доверие. Нельзя полагаться на инструмент, который с вероятностью 50% ничего не найдёт.

PenliAgent — облако с проблемами

Конфигурация: base (облачная)

Коммерческое облачное решение. На Windows установщик блокируется антивирусом. Установил на Kali Linux — интерфейс выглядит сырым, отклик медленный.

Провёл только фазу разведки (reconnaissance). На этапе сканирования портов застрял и дальше не продвинулся. За 1ч 11мин — только низкие и информационные уязвимости, да и те из неполного скана.

Требует VPN, данные обрабатываются в облаке, локальные модели не поддерживает.

Вердикт: не готов к использованию. Для коммерческого продукта (Free / $40/мес) — неприемлемый уровень качества.

Shannon — не удалось протестировать

Shannon позиционируется как «автономный AI-пентестер для веб-приложений и API», который анализирует исходный код, определяет пути атак и выполняет реальные эксплойты. Звучит интересно, но есть нюанс: инструмент работает исключительно в режиме white-box — требует предоставления исходного кода целевого приложения.

В рамках нашего black-box тестирования использовать его не удалось. Для организаций, практикующих white-box пентест, может быть интересен, но сравнивать его с остальными участниками теста не получится.

Burp Suite Pro — незаменим для ручной работы

Конфигурация: Balanced + Active Scan++

Burp Suite Professional — отраслевой стандарт, и это заслуженно. Удобнейший интерфейс, множество функций для ручного тестирования: перехват и модификация запросов, Repeater, Intruder, Sequencer. Просмотр истории запросов, подтверждение уязвимостей вручную — всё на высшем уровне.

Но как автоматический DAST-сканер он слабоват. Встроенный сканер по умолчанию работает не очень быстро и находит мало. Даже с плагином Active Scan++ результат скромный: 15 уязвимостей, но все уровня low/info — недостаток заголовков безопасности, CORS-проблемы. SQL-инъекцию не обнаружил.

Зато работает полностью локально, не требует VPN, данные никуда не передаются. Для ручного тестирования — незаменим.

Вердикт: не DAST-сканер, а инструмент для ручного пентеста. В этой роли — лучший в индустрии. Для автоматического сканирования нужна другая утилита.

Acunetix — лучший классический DAST

Конфигурация: Moderate (средняя нагрузка на сервер)

Классический профессиональный DAST-сканер. Работает быстро, удобный интерфейс, прост в настройке. Хранит историю сканирований, выдаёт детальные отчёты в формате PDF.

Нашёл основные критические уязвимости за приемлемое время, включая SQL-инъекцию. Устанавливается локально, не требует VPN, данные не передаются в облако.

Единственный существенный минус — PRO-версия платная, а оплата из РФ затруднительна. По соотношению результативности, удобства и независимости от облачных сервисов — лучший классический сканер в этом исследовании.

Вердикт: если нужен надёжный автоматический DAST без AI — Acunetix. Стабильный, предсказуемый, с понятным результатом. Интересно, что его результат оказался лучше, чем у Strix с локальной AI-моделью Qwen — зрелые классические решения пока превосходят AI-инструменты в базовом автоматическом сканировании.

Nikto — минималистично

Конфигурация: base

Терминальный open-source сканер. Быстрый (4 минуты) и простой, но малоэффективный для глубокого тестирования. Нашёл только 3 информационных уязвимости. Нет удобного отчёта — все результаты выводятся в консоль. Завершился с ошибками SSL.

Вердикт: бесплатный инструмент для быстрой базовой проверки. Не более того.

Nuclei — шаблоны решают

Конфигурация: v3.4.10, базовые шаблоны

Шаблонный терминальный сканер. Быстрый (11 минут), расширяемый за счёт огромной базы шаблонов. В базовой конфигурации нашёл 24 информационных уязвимости: отсутствие заголовков безопасности, детекция технологий, DNS-записи.

Критических и высоких уязвимостей не обнаружил. Но это скорее вопрос настройки — результаты можно значительно улучшить кастомными шаблонами и увеличением глубины сканирования.

Вердикт: инструмент с потенциалом, но «из коробки» — только базовый обзор. Сила Nuclei раскрывается при настройке шаблонов, а это уже требует квалификации.

Claude + Burp Suite MCP — победитель

Модель: Claude Sonnet 4

Абсолютный лидер исследования. Подход гибридный: Burp Suite перехватывает трафик и строит карту приложения, а Claude через MCP-протокол анализирует собранные данные, формирует гипотезы и генерирует запросы для тестирования.

Работает быстро (30 минут), интерфейс удобный и понятный — можно задавать любые инструкции на естественном языке. Результат — самый полный из всех:

Claude нашёл уязвимости всех категорий критичности — от критических SQL-инъекций до средних проблем конфигурации. Причём найдены не только «стандартные» уязвимости, но и логические: манипуляция купонами, отрицательное количество товара — то, что классические сканеры в принципе не умеют обнаруживать.

Генерирует качественный структурированный отчёт с PoC для каждой уязвимости, рекомендациями по устранению и оценками CVSS (Common Vulnerability Scoring System — стандарт оценки критичности уязвимостей).

Из минусов — требует VPN и облачного доступа к Claude. Данные передаются в облако модели. Оплата из РФ через посредников. Но по совокупности эффективности — лучшее решение.

Вердикт: если VPN и облачный доступ не проблема — это лучший инструмент из протестированных. Связка «классический прокси + LLM» даёт результат, которого не достигает ни один автономный AI-агент.

Главный тест: кто нашёл SQL-инъекцию?

SQL-инъекция — ключевая критическая уязвимость Juice Shop и один из самых опасных типов уязвимостей в целом. Это лакмусовая бумажка для любого инструмента пентеста. Из 12 протестированных инструментов её обнаружили только 5:

Примечательный момент: Burp Suite Pro (без AI) SQL-инъекцию не нашёл, хотя это отраслевой стандарт. А связка Burp + Claude MCP обнаружила сразу два вектора атаки. Это наглядно демонстрирует, какую разницу привносит AI-компонент при работе с тем же самым инструментом.

Из AI-инструментов SQL-инъекцию пропустили CAI, T3MP3ST, PenliAgent и Shannon (не участвовал). Интересно, что PentestGPT нашёл её — но, скорее всего, заслуга дорогой модели Claude Opus, а не самого фреймворка.

Покрытие уязвимостей: отрезвляющие цифры

А теперь самое важное. OWASP Juice Shop содержит 116 уязвимостей в 16 категориях. Сколько из них нашли инструменты?

Даже лучший инструмент покрыл меньше 9% уязвимостей. Все 12 инструментов вместе — не больше 22%.

Целые категории остались полностью непокрытыми ни одним инструментом:

• Insecure Deserialization (небезопасная десериализация) — 3 челленджа

• XXE, XML External Entities (внедрение внешних XML-сущностей) — 2 челленджа

• Broken Anti Automation (обход защиты от автоматизации) — 4 челленджа

• Security through Obscurity (безопасность через сокрытие) — 3 челленджа

• Observability Failures (ошибки наблюдаемости) — 4 челленджа

• Большая часть Cryptographic Issues (5 челленджей)

• Большая часть Broken Authentication (9 челленджей)

• Vulnerable Components (9 челленджей)

При этом большинство инструментов находят одни и те же базовые проблемы — отсутствие заголовков безопасности и информацию о версиях. То есть реальное «уникальное» покрытие ещё ниже, чем кажется.

Вывод: автоматизированные инструменты, включая AI, покрывают лишь малую долю существующих уязвимостей. Квалифицированный пентестер, методично проверяющий все категории, обнаружит значительно больше — просто потому, что он умеет тестировать бизнес-логику, проводить десериализацию и находить уязвимости, требующие понимания контекста приложения.

AI vs классика: преимущества и недостатки

Классические DAST-сканеры (Acunetix) демонстрируют стабильно высокий результат с предсказуемым качеством. AI-инструменты показывают значительный разброс: от отличных (Claude + Burp MCP) до неудовлетворительных (T3MP3ST, PenliAgent).

Преимущества AI-инструментов:

• Способность к контекстному анализу и обнаружению сложных логических уязвимостей (манипуляция купонами, отрицательное количество товара)

• Генерация качественных отчётов с описаниями на естественном языке, PoC и рекомендациями по устранению

• Гибкость настройки и адаптация к различным сценариям

Недостатки AI-инструментов:

• Нестабильность результатов — зависимость от модели, вылеты, провалы первых прогонов

• Высокая стоимость за счёт API LLM-моделей (от $1 до $20 за скан)

• Зависимость от облачных сервисов и необходимость VPN для большинства решений

• Зрелость продуктов — многие инструменты находятся на ранней стадии разработки

Применимость в корпоративной среде:

Рекомендации

Для корпоративного использования в РФ (с требованиями к локальности данных): Nuclei (DAST) + Burp Suite Pro (ручное тестирование) + Strix с локальными моделями (AI-дополнение). Все данные остаются в периметре организации.

Для максимальной эффективности (без ограничений по локальности): Burp Suite + Claude через MCP. Это решение показало наилучшие результаты по количеству и качеству найденных уязвимостей.

Для бюджетного тестирования: Nuclei (с настроенными шаблонами) + Strix (с Qwen/DeepSeek моделями). Приемлемый уровень безопасности при минимальных затратах.

Общая рекомендация: AI-инструменты следует рассматривать как дополнение к существующему арсеналу пентестера, а не как его замену. Наибольшую ценность AI приносит в качестве аналитического помощника при работе с результатами классических инструментов.

Выводы

1. AI-инструменты не могут заменить пентестера. Даже лучший из них обнаружил 8,6% уязвимостей. Все вместе — не больше 22%. Целые категории уязвимостей остались невидимыми для автоматики.

2. Гибридный подход — самый перспективный. Связка классических инструментов с LLM (Burp + Claude MCP) дала лучший результат. AI усиливает человека, а не заменяет его.

3. Классические DAST-сканеры пока надёжнее. Acunetix показал результат лучше, чем большинство AI-инструментов. Стабильно, предсказуемо, без вылетов.

4. AI превосходит классику в качестве отчётов. Описания на естественном языке, PoC, рекомендации по устранению — то, чего у классических сканеров нет.

5. Для работы из РФ выбор ограничен. Strix с локальными моделями — единственный AI-инструмент, работающий без VPN. Классика (Burp, Nikto, Nuclei) работает без ограничений.

6. С развитием AI-технологий и локальных моделей стоит ожидать значительного роста эффективности AI-инструментов в ближайшие 1–2 года.

AI-инструменты для пентеста сегодня — это мощный усилитель в руках специалиста, но не замена ему. 116 уязвимостей Juice Shop наглядно это показали: 92% из них по-прежнему требуют живого человека с опытом и методологией.

---

Тестирование проводилось в сентябре 2026 года на OWASP Juice Shop v20.3.0. Все инструменты использовались в режиме black-box. Ваши результаты могут отличаться в зависимости от выбранной модели, конфигурации и целевого приложения.