Системы ИИ уже способны переписать открытый проект с нуля — и сделать это за считаные минуты. Часть ИТ-сообщества видит в этом проблему, в первую очередь, связанную с юридической неопределенностью вокруг лицензирования подобных «сгенерированных» решений. Но параллельно набирает обороты и другая дискуссия — о том, что нейросети слишком сильно облегчают поиск уязвимостей в программном обеспечении и тем самым открывают новые возможности для злоумышленников. Мы в Beeline Cloud решили обсудить, насколько серьезны опасения и что обо всем этом думают профильные специалисты.
ИИ придет, уязвимость найдет
В середине мая ИБ-специалисты из Google зафиксировали первый случай, когда злоумышленники — предположительно — использовали систему ИИ для поиска уязвимости нулевого дня и создания эксплойта. Вредоносный Python-скрипт обходил двухфакторную аутентификацию в популярном веб-инструменте для администрирования. На мысли о том, что эксплойт был сгенерирован при помощи большой языковой модели, навела его характерная структура и оформление — в частности, код содержал множество пояснительных строк.
Вообще, появление подобных атак было лишь вопросом времени, ведь специалисты по информационной безопасности уже давно используют системы ИИ для проведения пентестов и поиска скрытых угроз в коде. При этом современные SotA-модели настолько хорошо обнаруживают уязвимости, что новая Mythos от Anthropic изначально была доступна лишь ограниченному числу организаций. Разработчики опасались, что модель начнут использовать хакеры для массового взлома приложений и сервисов. И хотя недавно компания все же предложила свою разработку широкой публике, часть ее функциональности, как раз связанной с поиском недостатков в программном обеспечении, все еще остается под замком.
В любом случае, тот факт, что нейросети сильно упрощают поиск уязвимостей, неоспорим. Так, в начале мая в Mozilla нашли баг двадцатилетней давности в XSLT-компоненте движка Firefox. Ошибка приводила к сбою перестроения хеш-таблицы и вызывала утечку памяти. Всего система ИИ помогла инженерам выявить более четырехсот проблем безопасности. Баги находили в самых разных компонентах, включая WebAssembly и IndexedDB (подробнее эту ситуацию обсуждали здесь).
Примерно в то же время исследователи из Red Hat с помощью агентной системы нашли критическую уязвимость в криптографическом API ядра, которая оставалась неизвестной на протяжении девяти лет. Она позволяла локальным пользователям повышать привилегии до администратора. И есть неиллюзорная вероятность, что нас ждет будущее, где нейросети будут помогать регулярно и с легкостью находить подобные эксплойты.
Уходя, закройте код
Согласно закону Линуса, при достаточном количестве тестов можно обнаружить ошибку практически в любой системе. В этом смысле неудивительно, что ИИ-агенты все чаще находят уязвимости — просто потому, что их масштаб анализа несопоставим с ручными проверками. Этот факт вызывает беспокойство в open source-сообществе. Поскольку код проектов находится в свободном доступе, злоумышленникам проще анализировать его на наличие слабых мест. На этом фоне все чаще звучит вопрос: а стоит ли вообще держать код открытым в новых технологических условиях? Так, разработчики инструмента для планирования Cal.com решили, что не стоит, и перевели ранее опенсорсный проект под коммерческую лицензию. Директор компании Бейли Памфлит даже назвал саму доступность открытого кода «потенциальной уязвимостью» и отметил, что, по его мнению, «опенсорс мертв».
При этом разработчики опенсорсных проектов все чаще обращают внимание и на другие проблемы, связанные с безопасностью, — в частности, резкий рост числа баг-репортов, сгенерированных нейросетями. На них приходится тратить время и ресурсы, хотя далеко не все найденные таким образом «уязвимости» действительно представляют угрозу. Несмотря на широкие возможности (и достижения) систем ИИ в поиске багов, ложные срабатывания встречаются значительно чаще, чем может показаться на первый взгляд. Например, уже упомянутая система Mythos как-то обнаружила пять потенциальных проблем в cURL, однако четыре из них оказались ложноположительными, а одну уязвимость команда cURL оценила как угрозу низкого уровня, отметив, что «хвататься за сердце нет нужды».
Из-за потока баг-репортов разработчики открытых проектов «тонут» в куче сообщений, значительная часть которых не приносит реальной пользы. На проблему обращал внимание и Даниэль Стенберг, автор cURL — после нескольких ложных наводок (на которые команда, тем не менее, потратила время) он ввел новое правило: авторы отчетов обязаны раскрывать, использовались ли при поиске уязвимостей ИИ-системы. И если ответ положительный, то будет произведен «допрос с пристрастием» — разработчики попытаются установить, участвовал ли человек в подготовке баг-репорта, или же сообщение было целиком и полностью составлено нейросетью. Брайан Гринстед, ведущий инженер Mozilla, подтверждает ситуацию: «У отчетов об ошибках, сгенерированных ИИ-системами, репутация неоднозначная, так что скептицизм вполне оправдан. Большое количество ложноположительных сообщений приводит к дополнительной нагрузке на команды проектов с открытым исходным кодом».
Причем ситуация усугубляется тем, что многие разработчики открытого ПО и без того работают на пределе возможностей. Иногда за популярным опенсорсным решением стоит небольшая группа мейнтейнеров, которая исправляет ошибки и готовит обновления в свободное время без какого-либо финансирования. Тем не менее, далеко не все команды готовы принять решение о закрытии кода. Некоторые, наоборот, предполагают, что именно опенсорс остается главным механизмом коллективной защиты — и что открытое сообщество в конечном счете сможет адаптироваться к новым вызовам быстрее, чем закрытые экосистемы.
Варианты остаться в опенсорсе
Специалист из крупной израильской ИБ-компании говорит, что ИТ-индустрия входит в новую фазу, где необходимо интегрировать ИИ-инструментарий в пайплайн разработки для автоматического поиска уязвимостей прямо в процессе написания кода. Команда Strix, разрабатывающая инструмент для пентестинга на базе ИИ-агентов, тоже считает, что нужно внедрять интеллектуальные системы, которые будут автоматически анализировать код перед отправкой в репозиторий. По их мнению, это единственный способ противостоять злоумышленникам, которые уже используют ИИ для создания эксплойтов нулевого дня.
Что важно, уже появляются опенсорсные проекты, которые помогают выстраивать подобные процессы. Один из примеров — фреймворк CAI, предназначенный для автоматизации ИБ-задач с использованием автономных агентов. Однако для устойчивого развития таких решений в открытой среде требуется поддержка не только сообщества, но и крупных игроков, включая разработчиков интеллектуальных моделей. Поэтому появляются инициативы вроде проекта Glasswing от Anthropic, цель которого — защитить открытое программное обеспечение от угрозы SotA-моделей. Glasswing объединяет лидеров рынка вроде NVIDIA, Apple и Google, предлагающих работать на опережение — самим находить и устранять уязвимости в критически важном ПО до того, как ими смогут воспользоваться злоумышленники.
Противостояние кибербезопасников и киберпреступников всегда было бесконечной борьбой щита и меча: пока одни ищут эксплойты, другие их закрывают. Но в эпоху ИИ-систем гонка «вооружений» выходит на новый уровень, и в ИБ-ландшафте зарождается своя интересная экономика — по мнению некоторых экспертов, для укрепления системы нужно просто тратить на обнаружение уязвимостей больше токенов, чем злоумышленники расходуют на взлом.
В апреле Институт безопасности ИИ (AISI) опубликовал отчет с результатами оценки возможностей различных моделей — и Claude Mythos в частности — в сценариях симулированных атак на корпоративные сети: начиная с этапа разведки до полного захвата контроля (по словам представителей AISI, на проведение таких атак человеку потребуется порядка 20 часов). На каждый тестовый прогон был выделен «бюджет» в 100 млн токенов максимум, но при этом наблюдалась устойчивая закономерность: чем больше токенов использовала модель, тем лучше становились ее результаты. Как отметили в AISI, ни одна из них так и не вышла на плато. И если нейросеть способна реализовывать все более комплексные атаки до тех пор, пока у злоумышленника есть деньги, вопросы кибербезопасности фактически сводятся к простой формуле: защитить систему можно в том случае, если на поиск уязвимостей тратится больше ресурсов, чем потенциальный атакующий готов вложить в поиск и разработку эксплойта. В таком контексте решающим фактором становится размер бюджета на информационную безопасность, что, возможно, приведет к удорожанию поддержки open source-экосистем. Неудивительно, что крупные ИТ-компании уже наращивают инвестиции в профильные фонды, фактически, готовясь к новой фазе этой гонки.
Опенсорс живее всех живых
Несмотря на все опасения, маловероятно, что нейросети смогут «похоронить» опенсорс. Открытое программное обеспечение продолжает развиваться — как вместе с системами ИИ, так и вокруг них. Например, есть проект OpenCode, который приобрел колоссальную популярность: ИИ-агент, который может работать прямо в терминале, меньше чем за год собрал 165 тыс. звезд на GitHub. А свежая DeepSeek-V4-Pro по бенчмаркам сопоставима с лучшими западными моделями. Впрочем, предыдущие открытые модели тоже пользовались спросом: одна из них после релиза в начале 2025 года заняла первые строчки в топе скачиваний в США, обойдя ChatGPT.
Даже сейчас крупные проекты, которые развивают инструментарий для ИИ-экосистемы, намеренно переходят в open source, чтобы использовать опыт комьюнити. В апреле этого года авторы агентской среды разработки Warp сменили коммерческую лицензию клиента на открытую. Они объяснили свое решение практическими соображениями и ставкой на развитие с использованием ИИ-систем. В компании верят, что только так можно будет «выпустить более качественную версию Warp» — в открытой среде и сотрудничая с сообществом.
Кроме того, открытый исходный код становится основным способом участия многих компаний в ИИ-гонке. Так, в фонде Eclipse Foundation ожидают сдвиг в сторону развития опенсорсных ИИ-инструментов, которые помогут интегрировать рабочие процессы агентов в существующие системы. Также в организации предсказывают новый виток инвестиций в открытое ПО. Ряд известных фигур в ИТ-индустрии возлагают большие надежды именно на опенсорсные ИИ-модели. Например, президент Mozilla Марк Серман считает, что при правильном подходе они смогут, в хорошем смысле слова, «захватить весь мир» — стать передовой парадигмой. Главное, чтобы эти модели были действительно открытыми: вместе с обучающими данными, весами, смещениями. Именно тогда можно будет говорить о коллективном развитии инфраструктуры и стандартов. Другими словами, пока одни закрывают код, опасаясь, что ИИ «отменит» опенсорс, другие возлагают надежду на развитие всей ИТ-индустрии за счет…опенсорсного ИИ.
Beeline Cloud — безопасный облачный провайдер. Разрабатываем облачные решения, чтобы вы предоставляли клиентам лучшие сервисы.
Что еще почитать в нашем блоге на Хабре и на нашей площадке «вАЙТИ»:
ссылка на оригинал статьи https://habr.com/ru/articles/1045062/