«Диасофт» автоматизирует полный цикл работы с ML-моделями

Компания «Диасофт» выводит на рынок новый продукт «Управление жизненным циклом машинного обучения», который вошел в состав платформы «Фабрика данных» (Digital Q.DataFactory). Продукт предназначен для организации полного цикла работы с моделями машинного обучения (МL, Machine Learning) – от проведения экспериментов и управления версиями до промышленного развертывания, мониторинга и сопровождения моделей.

Компании финансового и промышленного секторов активно внедряют технологии машинного обучения для повышения эффективности бизнес-процессов и создания новых цифровых сервисов. Однако масштабирование ML-проектов зачастую сопровождается отсутствием единого подхода к управлению экспериментами, сложностями воспроизводимости результатов, высокими операционными рисками и значительными затратами на вывод моделей в промышленную эксплуатацию.

Для решения этих задач специалисты «Диасофт» разработали продукт «Управление жизненным циклом машинного обучения», который обеспечивает централизованное управление всеми этапами работы с ML-моделями в едином технологическом контуре организации.

В числе ключевых возможностей продукта:

• Централизованное управление экспериментами с сохранением параметров, метрик, программного кода и артефактов для полной воспроизводимости результатов.

• Ведение реестра моделей с поддержкой версионирования и разметка данных моделей на различных стадиях жизненного цикла.

• Автоматизация развертывания моделей в различных средах – локальной инфраструктуре, облаке или on-premise-контурах.

• Мониторинг работы моделей, логирование предсказаний и контроль дрейфа данных для поддержания стабильности и качества результатов.

• Интеграция с популярными ML-фреймворками, включая PyTorch, TensorFlow и Scikit-learn, а также работа с проектами в формате контейнеров.

• Предоставление бизнес-пользователям доступа к прогнозным моделям через чат-бот без необходимости работы с API и программным кодом.

«Важно консолидировать в едином контуре заказчика как эксперименты, так и модели, развернутые в реальных рабочих средах. В отличие от разрозненных инструментов, наш продукт обеспечивает сквозную автоматизацию. Ключевое преимущество продукта – готовая отечественная альтернатива зарубежным решениям, которая обеспечивает независимость от иностранных лицензий, соответствует требованиям информационной безопасности и снижает операционные затраты на внедрение технологий машинного обучения», – отмечает Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт». 

Продукт использует Kubeflow Pipelines (KFP) для автоматизации полного цикла работы с моделями машинного обучения – от подготовки данных и обучения до развертывания в Kubernetes. Для промышленного инференса применяется KServe, который автоматически публикует модели из реестра как масштабируемые REST-сервисы с поддержкой GPU, canary- и blue-green-развертываний и автоматического восстановления после сбоев. В состав продукта также входят хранилище признаков (Feature Store) на базе Valkey и Apache Iceberg, единая аутентификация через Digital Q.Security (SSO/OIDC), а также Trainer Operator для запуска и управления распределенным обучением моделей в кластере Kubernetes.

Продукт может выступать в качестве отечественной альтернативы MLflow и другим зарубежным платформам управления жизненным циклом моделей машинного обучения.

С помощью продукта «Управление жизненным циклом машинного обучения» можно как создавать новые ML-сервисы, так и централизованно управлять существующим ландшафтом ML-моделей в крупных организациях.