Компания Cisco выпустила инструмент с открытым исходным кодом для отслеживания происхождения моделей ИИ и сравнения их сходств, что обеспечивает высокую прозрачность цепочки поставок ИИ.
Инструмент Model Provenance Kit представляет собой набор инструментов на языке Python и интерфейс командной строки (CLI), который анализирует такие сигналы, как метаданные и веса, для создания «отпечатка» моделей ИИ. Затем его можно сравнить с отпечатками других моделей, чтобы определить потенциальное общее происхождение.
«Представьте Model Provenance Kit как ДНК-тест для моделей ИИ. Подобно тому, как ДНК-тест выявляет биологическое происхождение, Model Provenance Kit анализирует как метаданные, так и фактические параметры модели, прошедшие обучение (подобно уникальному геному, из которого состоит модель), чтобы оценить, имеют ли модели общее происхождение, и выявить признаки модификации», — отметили исследователи Cisco.
Инструмент призван устранить пробелы в прозрачности цепочки поставок моделей ИИ. Например, многие организации используют модели с открытым исходным кодом из таких репозиториев, как HuggingFace, где модели потенциально могут быть загружены с неполной или вводящей в заблуждение документацией.
Инструментарий работает в два этапа и имеет два разных режима: сравнение и сканирование. В режиме сравнения пользователь может выбрать две модели для сравнения и получить разбивку оценок сходства по метрикам, включая метаданные, структуру токенизатора и сигналы уровня весов, а также итоговую сводную оценку; если эта итоговая оценка превышает определенный порог, модели считаются связанными.
В режиме сканирования одна модель может быть сравнена с базой данных известных отпечатков для примерно 150 различных базовых моделей из более чем 45 семейств и 20 издателей, включая Meta*, Google, Alibaba, Microsoft, DeepSeek, Nvidia и OpenAI.
На первом этапе анализа инструментарий выполняет «архитектурный скрининг» на основе структурных метаданных и конфигураций моделей, что позволяет быстро определить, имеют ли две модели идентичную архитектуру. Cisco отметила, что только этот этап может решить «значительную часть» задач.
Второй этап включает анализ на уровне весов, рассматривая пять конкретных сигналов: сходство якорных вложений (EAS), распределение норм вложений (END), отпечаток слоя норм (NLF), энергетический профиль слоя (LEP) и косинус значения веса (WVC). Эти сигналы помогают идентифицировать модели, имеющие одинаковый архитектурный шаблон, но обученные отдельно.
Cisco обнаружила, что Model Provenance Kit идентифицировал стандартные производные модели — такие как одна и та же базовая модель с различной тонкой настройкой или выравниванием — в 100% случаев, а также показал 100% полноту для межорганизационных производных, когда модель дорабатывается и выпускается под другим именем другой организацией.
Модели, обученные независимо, но использующие один и тот же токенизатор, были идентифицированы со 100% точностью, и из 111 проанализированных пар моделей только четыре были классифицированы неправильно, что касалось моделей с «экстремальными архитектурными преобразованиями».
Помимо защиты организаций от обмана и скрытых рисков, связанных с моделями в экосистеме ИИ с открытым исходным кодом, инструментарий также может помочь избежать проблем с соблюдением нормативных требований, связанных с невозможностью отследить происхождение используемой ими модели.
«Поскольку модели постоянно совершенствуются, перерабатываются, объединяются и переупаковываются, файлы моделей перестали быть статическими активами. Отслеживать происхождение становится сложнее, а скрывать его становится легче, и ответ на вопрос “каково происхождение этой модели?” требует более тонких подходов», — заключили исследователи Cisco.
ссылка на оригинал статьи https://habr.com/ru/articles/1033444/