Microsoft сможет выявлять слабые места в генераторах кода (если верить патентной заявке компании)

Генерация кода с использованием ИИ стала одним из наиболее эффективных применений мощных базовых моделей. Однако такие системы имеют недостатки, и Microsoft разрабатывает инструмент для их устранения.

Технологический гигант подал заявку на патент под названием «Устранение уязвимостей стороннего кода при генерации кода, созданного при помощи ИИ». Эта технология предназначена для выявления уязвимостей в коде, импортированном из библиотек.

Как указано в документе, хотя ИИ-модели способны сократить время написания кода, они обучаются на данных, которые могут не учитывать обновления библиотек — например, патчи, применённые к сторонним пакетам после обучения модели. «В результате модель может рекомендовать устаревшие или уязвимые версии сторонних пакетов», — отмечается в заявке.

Когда LLM используется для генерации кода, технология Microsoft обеспечивает защиту от уязвимостей за счёт промежуточного слоя (middleware), который действует как фильтр между моделью и пользователем.

Этот слой перехватывает сгенерированный код, извлекает все ссылки на сторонние пакеты и сравнивает их со списком «сертифицированных» пакетов — безопасных, проверенных и не содержащих известных уязвимостей. Если обнаруживается неподтверждённый пакет, он либо удаляется из кода, либо заменяется на сертифицированный аналог перед отправкой пользователю.

Генерация кода с помощью ИИ стала одним из ключевых применений мощных базовых моделей, разрабатываемых крупными технологическими компаниями. Так называемый vibe coding открывает возможности для менее технически подкованных пользователей попробовать себя в разработке.

Однако патент Microsoft указывает на серьёзную проблему, с которой сталкиваются разработчики при использовании таких инструментов: точность. Недавнее исследование компании Veracode, специализирующейся на безопасности приложений, показало, что только 55% кода, сгенерированного ИИ-инструментами, не содержит известных уязвимостей.

В условиях, когда компании стремятся не отставать от стремительной конкуренции, безопасность часто отходит на второй план — многие организации сознательно выпускают уязвимый код, лишь бы уложиться в сроки. Технология Microsoft может стать критически важным уровнем защиты по мере роста ставок в корпоративной среде.