AI на фронтире кибервойны. Как LLM меняют ИБ-ландшафт

Искусственный интеллект в информационной безопасности — такая обширная тема, что можно легко заблудиться в дебрях спекулятивных прогнозов. Понятие ИИ охватывает все — от рекомендательных алгоритмов, подсовывающих видео с котиками, до роботов, которые хотят убить всех человеков. Чтобы не написать вместо статьи сценарий низкобюджетного sci-fi, стоит сузить фокус.

Представим, что мир ИИ застыл. Никаких революций, никаких сверхразумных AGI на горизонте. Сосредоточимся на анализе больших языковых моделей (LLM) и их влиянии на информационную безопасность. Конечно, выпуск новой мощной модели может разнести вдребезги все эти выкладки, но примем этот риск. Ведь с чего-то надо начинать.

В этой статье я рассмотрю, какие новые возможности открываются перед атакующими и защитниками, и что за вызовы стоят перед отраслью. Под катом вас ждет увлекательное путешествие на ИБ-фронтир.

Автоматизация зла: LLM как универсальный инструмент хакера

В начале 2024 года Microsoft и OpenAI выпустили совместное заявление об удалении учетных записей, которыми пользовались хакеры. В нем аккуратно написано, что LLM дают злодеям «ограниченные дополнительные возможности». Все равно что сказать: «У нас маленький ядерный реактор в подвале, но не волнуйтесь, он дает лишь ограниченное дополнительное тепло». По сути, в этой публикации обе компании признали, что LLM теперь — часть арсенала хакеров. Уже в октябре OpenAI сообщила, что пресекла более 20 операций киберпреступников, которые использовали ChatGPT. И могу вас заверить: несмотря на ненадежность технологии, хакеры нашли для LLM множество применений.

Снижение порога входа

Даже не связанные с кибербезопасностью исследования говорят, что главными бенефициарами LLM-революции становятся новички. Если раньше скрипт-кидди нужно было годами грызть гранит, чтобы провернуть что-то серьезное, то теперь достаточно научиться задавать правильные вопросы личному цифровому оракулу. Инструменты вроде ChatGPT могут, например, генерировать сценарии атак, что позволяет начинающим хакерам проворачивать более сложные и комплексные операции.

Упрощение разведки и сканирования

Языковые модели влияют и на то, как хакеры собирают информацию о своих целях. С появлением инструментов вроде ChatRTX они получили возможность общаться с базами данных на естественном языке. «Эй, база, где тут самые сочные активы?».

Агентские системы типа AutoGPT подходят для поиска потенциальных целей в соцсетях, а проект Red Reaper, вдохновленный утечками о возможностях китайской хакерской группировки ISOON, использует коктейль из NLP, графового анализа и GenAI, чтобы выжать максимум информации из украденных писем.

С каждым днем подобных инструментов становится больше. Так, исследователи сумели приспособить LLM для помощи пользователям при запуске хакерских утилит. «Может, попробуешь вот этот хитрый параметр?», — шепчет ИИ, предлагая контекстно-зависимые аргументы командной строки. А на десерт идут интерпретаторы результатов сканирования, например, BurpGPT.

Помощь в обнаружении и анализе уязвимостей

Способность LLM объяснять сложные вещи простыми словами также пришлась кстати хакерам. Нейронка может разложить по полочкам механизмы работы публично известных уязвимостей и тут же найти их в коде. В нескольких случаях LLM превосходили в этой задаче специализированные SAST-инструменты.

Языковые модели могут интерпретировать результаты работы сканеров уязвимостей, выявлять закономерности и сигнатуры, связанные с ложными срабатываниями. Агентские системы на их базе оценивают и расставляют приоритеты уязвимостей на основе вероятности их успешной эксплуатации.

Социальная инженерия на основе искусственного интеллекта

Если нейросеть может писать стихи в стиле Пушкина, то способна сымитировать сотрудника ФСБ или притвориться соседом, который хочет одолжить пару биткоинов.

LLM упрощают создание персонализированных фишинговых текстов. Профессиональный опыт, хобби, любимая марка пива — теперь не нужно быть Шерлоком Холмсом, чтобы собрать, агрегировать и использовать личную информацию жертвы. Вместо рассылки однотипных «писем счастья» злоумышленники могут запустить свору виртуальных социальных инженеров, каждый из которых подберет индивидуальный подход к жертве. А если добавить к этому генеративные фото и синтезированный голос, получается настоящий вызов критическому мышлению. Эти технологии так часто используют в Pig Butchering-аферах, что Управление ООН по наркотикам и преступности (УНП ООН) опубликовало отчет, где LLM и дипфейкам посвящены целые разделы.

Помните недавний переполох с фейковым фото взрыва у Пентагона? Пока люди чесали затылки, пытаясь понять, что происходит, биржевые боты устроили распродажу. Так благодаря одной картинке биржа слегка пошатнулась, а кто-то, возможно, неплохо заработал.

Работа с вредоносным кодом

Хотите перенести свой любимый троян с Python на Rust? Нет проблем! LLM сделает половину работы за вас, да еще и комментарии к коду добавит. Благодаря LLM обфускация и модификация вредоносов стала быстрее, но самое интересное — это генерация вредоносного кода «с нуля». ChatGPT, несмотря на все его моральные принципы, можно уговорить написать вирус или эксплойт. Это доказывает, например, статья Аарона Малгрю, загадочно пропавшая из блога Forcepoint, но сохранившаяся в веб-архиве.

Кроме того, на конференции HOPE 2024 Эрика Берджесс рассказала (начиная с 3:56 в записи), как ИИ теперь может создавать эксплойты нулевого дня. Или представьте себе полиморфную вредоносную нагрузку, которая меняется быстрее, чем мнение начальника о дедлайнах, и извлекает данные через вебхук Microsoft Teams. Это краткое описание BlackMamba — инструмента, который использует LLM для генерации кейлоггеров.

Эксплуатация уязвимостей

Ресерчеры находят способы применения LLM и напрямую для атак. Австрийцы научили нейронки пробираться в уязвимые виртуальные машины через SSH, например, повышать привилегии, используя неправильные настройки в файле sudoers. С прошлого года на GitHub лежит злая версия TensorFlow, предназначенная для объединения и компоновки эксплойтов из разных источников и платформ.

Агентские системы на базе LLM продемонстрировали высокие возможности автономного использования выявленных уязвимостей, включая SQL-инъекции и XSS-атаки. Создатели PentestGPT и вовсе утверждают, что их разработка справляется с задачами легкой и средней сложности на платформе HackTheBox и вошла в 1% лучших хакеров на платформе.

LLM могут эксплуатировать однодневные уязвимости с вероятностью успеха 87% при наличии информации в базе CVE. А в продолжении этой статьи говорится, что команды ИИ-агентов могут автономно эксплуатировать уязвимости нулевого дня. Еще одной работе описано, как LLM реализует сложные стратегии повышения привилегий в Linux-средах.

От скрипт-кидди до супершпиона: демократизация хакерства

Этот шквал публикаций может вызвать легкую панику, но давайте разберемся в ситуации. Да, у хакеров теперь есть новая игрушка. LLM для них как мультитул — и код напишет, и фишинговое письмо составит, разве что кофе не сварит (пока что). В результате масштабы, скорость, эффективность атак растут, однако революции не случилось.

Помните старые добрые малварь-билдеры и криптеры? Во многом это та же история, только под модным ИИ-соусом. Профессиональные разработчики вредоносных программ давненько балуют клиентов инструментами для создания собственных штаммов зловредов.

Благодаря LLM разнообразие вредоносов наверняка вырастет, но вряд ли мы увидим что-то принципиально новое. Разве что вирусы начнут писать стихи или рассказывать анекдоты перед тем, как зашифровать жесткий диск.

LLM по-прежнему нуждаются в человеческих навыках и опыте для создания «достойного» вредоносного ПО. Нейронки испытывают проблемы с логикой, им нужны подробные инструкции, словно первокласснику на уроке информатики. «Не используй этот метод внедрения процессов, его палят все антивирусы». «Попробуй Google Drive для кражи данных — его так редко блокируют, что даже неловко». А главное, для обучения специализированной злодейской LLM нужны качественные данные. Именно с ними связаны основные трудности в масштабировании социальной инженерии и создания вредоносного ПО.

Таким образом, наибольшую отдачу от применения ИИ в сложных кибератаках на горизонте года получат те, кто обладает ресурсами и опытом, а также имеет доступ к качественным данным. Вероятно, здесь преимущество за спецслужбами. У них могут быть достаточно большие хранилища вредоносных программ для раскрытия потенциала LLM в кибератаках. Но не стоит списывать со счетов и матерых киберпреступников. У них тоже найдется, на чем дообучить опенсорсные модели. В даркнете уже второй год обсуждают доработку и настройку LLM для использования в кибератаках. Вероятно, рано или поздно злодеи добьются некоторого прогресса.

Но, как ни странно, первыми преимущества больших языковых моделей почувствуют самые зеленые киберпреступники. Да что там, они уже активно используют их как интерактивный справочник. Общедоступные LLM во многом покрывают их потребности, особенно в простых операциях вроде целевого фишинга.

SOC на стероидах: LLM как ассистент безопасника

В арсенале белых хакеров много приемов, подсмотренных у злодеев, так что все описанные преимущества LLM применимы и к наступательному кибербезу. Red team в ближайшее время тоже получат умеренный прирост возможностей в социальной инженерии, разведке и эксфильтрации, но LLM также могут усилить внутренние центры управления безопасностью (SOC).

Blue team здесь давно на шаг впереди. Еще когда по Земле бродили динозавры (ну ладно, в 90-х), они начали внедрять машинное обучение в системы обнаружения аномалий (ADS) и системы обнаружения вторжений (IDS). Потом — в антивирусы и спам-фильтры, но при этом в реагировании на инциденты до сих пор оставались нерешенные комплексные проблемы.

Предоставление контекста по инциденту 

Итак, когда появляется уязвимость с высоким рейтингом CVSS, безопасники не сразу бьют тревогу. Сперва они задают ряд вопросов:

1. Можно ли реально использовать эту уязвимость?

2. Если да, то кто может это сделать? Опытный хакер или коварный инсайдер? А может, любой, кто умеет гуглить?

3. Есть ли козыри против этой напасти? Может, подкрутим WAF, и дело в шляпе?

4. Насколько сложно полностью залатать дыру?

В зависимости от контекста даже серьезная уязвимость может получить низкий приоритет. А вот на первый взгляд средненькая — легко выйдет в дамки, если, устранив ее, можно разрушить целую цепочку атак. Вот только на практике на выяснение деталей по каждому оповещению уходит очень много времени.

SOC-команда: обычный день, обычный кофе, обычные алерты. И вдруг — сигнал о публичной корзине Amazon S3.

Первым делом — в корпоративную вики, но перечень публичных сегментов не обновлялся несколько месяцев. Подозрительной корзины в нем нет. Затем безопасники начинают копаться в содержимом хранилища, а там: данные клиентов, личная инфа сотрудников, секретные настройки и — барабанная дробь — ключи доступа.

Нужно срочно найти владельца корзины, но не тут-то было! CSPM играет в молчанку, команда инфраструктуры пожимает плечами. Начинается лихорадочное расследование с OSINTом по Jira и Slack. Перелопатив сотни сообщений с мемами годичной давности, SOC находит инженера, который когда-то создал эту корзину для «небольшого тестика». Кто же знал, что тестик перерастет в полноценный проект, а корзина станет главным каналом обмена данными с партнером? Классика жанра: началось как MVP, закончилось как «оно и так работает, не трогай».

Почти каждое предупреждение об уязвимости — тот еще квест, несмотря на весь прогресс в развитии систем реагирования на инциденты. Но представьте, если бы необходимый контекст прилетал быстрее, чем скажешь: «У нас тревога, возможно криминал!». LLM могут помочь с этим: извлекать, агрегировать и представлять данные в удобном формате.

Безопасники из Google уже пишут при помощи LLM отчеты об инцидентах. В их эксперименте модель сократила время написания резюме инцидентов на 51%, причем качество осталось на человеческом уровне.

Конец рабочего дня. SOC получает очередной сигнал о подозрительной активности:

«Обнаружен новый исходящий вызов на Stripe.com». 

Аналитик (чешет затылок): «Хм, это нормально, или у нас завелся любитель онлайн-шопинга?».

LLM дает ответ:

– Stripe — доверенный поставщик, разрешены только исходящие вызовы.– Документация и обсуждения подтвердили, что Stripe — новый поставщик для приема платежей.– Библиотеки Stripe были добавлены в репозиторий в такую-то дату.– Петрову А.В. из команды платежей направлен запрос. Он уже подтвердил, что Stripe.com считается разрешенным доменом.

Время, оставшееся после разбора инцидентов, типичный безопасник тратит на отчетность и «демонстрацию результатов». На доказывание того, что мы не просто так едим свой хлеб, уходит до 20% рабочего времени. Эта эпопея затрагивает всех: от рядового сотрудника, расписывающего, почему «qwerty123» — это не пароль, до директора по безопасности, убеждающего совет директоров, что новая уязвимость — не повод сливать акции компании.

Казалось бы, ответить на вопрос «Насколько безопасен наш главный сервер?» должно быть просто, но для отчетности приходится собирать данные из кучи несвязанных систем с загадочными аббревиатурами: CSPM, DSPM, ASPM, IAM…

Это еще одно направление, где LLM могут принести много пользы. Представьте: приходите на работу, а отчет уже готов, презентация составлена, а документация самообновилась, пока вы спали. Хакерский ИИ напишет зловред, ИИ на стороне безопасников напишет про него отчет — ну не утопия ли? 

Исправление ошибок

По слухам, Джейсон Клинтон, директор по информационной безопасности Anthropic, был в восторге, когда увидел, как модель рассуждает об уязвимости, которой не существовало на момент ее обучения. Это признак того, что LLM могут выявлять потенциальные уязвимости и предлагать патчи для их устранения.

Эли Бурштейн, технический руководитель по кибербезопасности и исследованиям в области ИИ в Google DeepMind, решил это проверить. Его команда выбрала кучу уязвимостей из кодовой базы Google и попросила ИИ поиграть в техподдержку. Затем эти патчи отправили на проверку программистам. Лучшая модель прошлого года смогла исправить 15% багов в простеньком C++ с уязвимостями, связанными с санитизацией ввода. Проблема была в том, что требовалось не просто устранить уязвимость, но и сохранить функциональность программы.

Звучит не очень впечатляюще, но это больше, чем было бы исправлено без ее помощи. Эли говорит, что увеличить показатель до 80% вполне реально. Но чтобы сделать технологию практичной, потребуется 90–95% корректно исправленных уязвимостей и принципиально новая языковая модель. В общем, у этой затеи есть перспективы. Кто знает, может быть, скоро наши IDE будут не только подсвечивать синтаксис, но и подкалывать за криво написанный код.

Киберапокалипсис отменяется?

Масштабы кибератак будут расти вслед за числом хакеров, открывающих для возможности LLM. Red team и Blue team придется держать руку на пульсе, но безопасники также могут обратить новые возможности себе на пользу.

Кстати, здесь можно посмотреть список компаний, применяющих ИИ для обеспечения безопасности. Кое-какие исследования ведутся и в Бастионе, но, если что, я вам об этом не говорил.

Похоже, что в конечном счете ситуация будет напоминать бесконечную игру в пинг-понг между роботами. Преимущество будет переходить от одной стороны к другой, но в конце концов, «хороший» и «плохой» ИИ уравновесят друг друга. В основном пострадают те, кто не воспользуется новыми технологиями.

Хотелось бы закончить на умеренно позитивной ноте, но, все больше полагаясь на нейронные сети, мы столкнемся с еще неосознанными рисками. Нет, это не восстание машин, я же обещал обойтись без футурологии. Смотрите, уже сейчас есть две существенных проблемы:

1. Качество сгенерированного кода. Например, исследование 800 программистов показало, что спецы, юзающие Copilot, допускают на 41% больше ошибок. К тому же получившийся код еще и непонятный, его сложнее чинить.

2. Конфиденциальность. Так, Samsung запретил сотрудникам общаться с ChatGPT. Почему? Кто-то из них решил, что искусственный интеллект оценит исходный код проприетарной программы для исправления ошибок. Не оценил, зато запомнил.

Конечно, если спросить ChatGPT про исходники Samsung, нейронка не ответит, но эти данные наверняка попадут в обучающую выборку. А ребята из Google DeepMind уже доказали, что из ChatGPT можно выудить фрагменты исходного датасета. Да что там, ChatGPT просто по ошибке раскрывал заголовки чужой истории чатов другим пользователям.

Эти проблемы можно купировать при помощи четких корпоративных политик использования LLM и частных локальных нейросетевых моделей в контуре компании, но что делать с атаками на сами нейросетевые модели?

Британские ученые (нет, правда, именно британские) из Департамента науки, инноваций и технологий перелопатили гору научных трудов и нашли 72 оценки рисков, связанных с ИИ. В них разобран целый зоопарк уязвимостей, в том числе новых, характерных только для ИИ. Они разложены по этапам жизненного цикла с оценкой потенциального воздействия.

Или вот другая, более именитая классификация — MITRE Atlas (Adversarial Threat Landscape for Artificial-Intelligence Systems). Она опирается на тактики, знакомые безопасникам, например, по веб-уязвимостям, но содержит множество уникальных рисков: генерация «отравляющих» данных и внедрение их в наборы для обучения модели, извлечение датасета через многократные запросы к API модели машинного обучения, подбор adversarial examples и кто знает, что еще.

И вот мы стоим на пороге цифрового фронтира, а впереди бескрайняя поверхность атак. Приключение только начинается, и скучно не будет. Подтяните стремена и поправьте шляпы, господа разработчики и безопасники — нас ждет увлекательное путешествие в неизвестность!

А1