Проверенные подходы к разработке в сфере машинного обучения

В следующем списке представлены проверенные подходы к разработке программных систем с компонентами машинного обучения (ML).Список составлен на основе консультаций с командами ML-разработчиков и анализа соответствующей научной и внеиздательской литературы. Мы непрерывно ведем глобальный опрос команд ML-разработчиков, чтобы оценивать степень внедрения этих подходов в реальные проекты. Собранные подходы сгруппированы по шести категориям, изображенным на схеме выше, и перечислены в списке ниже. Каждому подходу поставлены в соответствие сложность, эффекты от его внедрения и реализуемые с его помощью требования к достоверности моделей ML.

Данные

«Кто контролирует конвейер данных, тот контролирует и производственный конвейер для машинного обучения». — Чип Хьюэн (Chip Huyen)

• Проверка всех внешних источников данных на здравый смысл

• Проверка входных данных на полноту, сбалансированность и равномерное распределение

• Проверка тренировочных данных на социальные предубеждения

• Написание многоразовых скриптов для очистки и слияния данных

• Разметка данных в рамках жестко контролируемого процесса

• Исключение дискриминационных атрибутов данных из числа признаков модели

• Применение методологий конфиденциального машинного обучения

• Обеспечение доступности наборов данных в общей инфраструктуре (частной или публичной)

Обучение

«Даже многократно проведенный эксперимент не сможет подтвердить мою правоту, а доказать, что я не прав, можно и одним экспериментом». — Альберт Эйнштейн

• Четкая формулировка цели обучения и донесение этой цели до всех участников команды

• Оценка цели обучения посредством легко измеримых и наглядных показателей

• Тестирование всего кода для извлечения признаков

• Назначение владельца каждому признаку и документирование его обоснования

• Активное удаление или архивация неиспользуемых признаков

• Применение интерпретируемых моделей в любой подходящей ситуации

• Независимая экспертиза скриптов обучения

• Проведение экспериментов с параллельным обучением

• Автоматизация генерации и отбора признаков

• Автоматизация оптимизации гиперпараметров

• Автоматизация конфигурации алгоритмов или структуры модели

• Непрерывная оценка качества и эффективности модели

• Оценка и контроль предубеждений в подгруппах

• Управление версиями данных, моделей, конфигураций и скриптов обучения

• Уведомление команды о статусе и результатах экспериментов

Код

«В настоящее время нельзя считаться экспертом в области ИИ без фундаментальных навыков программной инженерии». — Грейди Буч (Grady Booch)

• Выполнение автоматизированных регрессионных тестов

• Применение системы непрерывной интеграции

• Проверка качества кода методом статического анализа

• Контроль безопасности приложений

Развертывание

«Если ваша модель не развернута в производственной среде, разве можно сказать, что она существует?» — Аноним

• Автоматизация развертывания модели

• Реализация теневого развертывания

• Непрерывный мониторинг поведения развернутых моделей

• Выполнение проверок на отклонение результатов работы модели в разных средах

• Реализация автоматического отката моделей в производственной среде

• Протоколирование прогнозов производственных моделей с указанием версии модели и входных данных

• Внедрение аудиторских следов

Команда

«Чтобы идти быстро, отправляйтесь в одиночку; но чтобы зайти далеко, идите вместе». — Африканская пословица (предположительно)

• Применение платформы для совместной разработки

• Ведение общего списка невыполненных работ

• Налаживание коммуникаций, согласование и совместное выполнение работ с другими участниками команды

• Выбор альтернатив посредством четко обозначенного внутрикомандного процесса

Управление

«Там, где большая власть, там и большая ответственность». — Уинстон Черчилль

• Следование ценностям «этики ИИ»

• Проведение оценок риска

• Принудительное соблюдение принципов справедливости и конфиденциальности

• Информирование пользователей об использовании машинного обучения

• Объяснение результатов и решений пользователям

• Предоставление безопасных каналов для неудобных вопросов

• Проведение аудита вашего приложения

Материал подготовлен в рамках курса «MLOps».

Всех желающих приглашаем на бесплатный интенсив «end2end Fraud Detection». На занятии мы:
— Cформулируем бизнес цели и метрика проекта.
— Загрузим данные в HDFS и проведем разведывательный анализ данных с помощью spark.
— Выстроим каскад метрик, формулируем задачу для ML.
— Обучим модель и проверяем гипотезы по улучшению качества.
— Автоматизируем переобучение на новых данных и сохранение артефактов с помощью Airflow и MLFlow.
>> РЕГИСТРАЦИЯ