MLOps со всех сторон: что расскажут на конференции I’ML 2024

Обсуждения машинного обучения бывают очень разными. Есть просто шумиха, громкие слова и спекуляции. Заменят ли нас всех завтра машинами? Мы движемся к прорыву или катастрофе?

Когда разговор подходит ближе к технологиям и тематике Хабра, в первую очередь думают про непосредственное обучение моделей.

Но есть ещё и MLOps-вопросы. Скажем, вы разработали ML-модель, а как измерить ее полезность? Какую развернуть инфраструктуру? Как масштабировать систему и сделать ее устойчивой? Нужно ли строить свою ML-платформу?

И для всех, кому актуальны подобные вопросы, мы проведём 8 ноября онлайн-конференцию I’ML 2024 Autumn. Общих слов там будет мало, а вот технических докладов много. О чём именно они будут? Программа уже готова, и представляем Хабру краткие описания всех докладов.

---

Apache Airflow — надежная работа под высокой нагрузкой в условиях большой компании

Обсудим, как в крупной компании внедрить новый сервис для оркестрации ETL-пайплайнов.

Как сделать Airflow таким, чтобы всем было удобно им пользоваться всем: от конечного потребителя до тех, кто его будет поддерживать.

Рассмотрим виды инсталляций, их особенности, плюсы и минусы разных вариантов реализаций.

Изучим по максимуму возможные подводные камни, возникающие в работе, и обсудим, как их обойти.

Узнаем, как Airflow можно интегрировать с другими инструментами для расширения функциональности и повышения удобства.

---

Системы интерактивных диалоговых рекомендаций

Классические рекомендательные системы малоинтерактивны. Объединение классических рекомендательных систем и возможностей современных языковых моделей предоставляет подход, позволяющий в нескольких приближениях решить эту проблему. Карина расскажет про возможные подходы такого объединения.

Будет полезно дата-сайентистам, занимающимся рекомендациями и LLM, опытным продактам и руководителям, которые хотят пойти в сторону интерактивных рекомендаций.

---

Проблемы обучения и инференса табличных нейросетей размера LLM

Рассказ о трудностях, связанных с обучением больших рекомендательных моделей. О том, как эти трудности преодолеть и что это дало в онлайн-метриках.

В популярных сервисах копится огромное количество данных. Один из наиболее интересных и продвинутых способов обработки этих данных — использование нейросетей. Для нейросетевых моделей параметры — это ID пользователей, айтемов, а также дополнительные фичи. В ситуации, когда количество позитивных взаимодействий пользователей с различными айтемами переваливает за несколько терабайт, а самих этих айтемов миллиарды, возникает вопрос: как обучить нейросетевую модель, параметры которой занимают несколько сотен гигабайт и явно не влезают в стандартные GPU сервера?

Будет интересно ML-инженерам, работающим с высоконагруженными рекомендательными системами.

---

Собственная централизованная платформа MLOps: от R&D до инференса в едином контуре

Вам расскажут, почему в Лемана ПРО пришли к созданию MLOps-платформы и как выбирали стек исходя из оргструктуры, бизнес-задач и потребностей ML-разработчиков. Будет обзор решения на базе Kubeflow — со всеми плюсами и минусами — и этапов его раскатки в Яндекс.Облаке. В докладе подсветят нетривиальные задачи и сложности, с которыми столкнулись, включая разработку шаблонов и обучений, деление GPU на команды, интеграцию с Vault для хранения секретов и подготовки CI/CD на базе Jenkins и Artifactory.

Также вам расскажут, что получили с точки зрения пользовательского опыта и бизнеса.

---

AMD vs NVIDIA — все еще грусть или уже не совсем?

Доклад о состоянии AMD-шного стека в части софта и харда относительно аналогичного стека NVIDIA. Вопрос кажется риторическим. Тем не менее хочется поделиться некоторыми результатами сравнительного анализа и обратить более пристальное внимание на инструменты профилировки.

Попробуем запустить рабочий код заказчика на AMD-шной карте и посмотрим:

• заведется ли он сразу или возникнут проблемы;

• какими средствами можно будет проанализировать то, где в коде заказчика находятся узкие горлышки.

А затем подведем итоги.

---

Жизненный цикл ML-моделей в on-prem решениях ИБ

Вам расскажут, с какими особенностями сталкивается инженер машинного обучения при разработке моделей, которые интегрируются в продукты информационной безопасности. Спикеры представят воркфлоу работы с моделями. Ответят на вопросы, почему в Positive Technologies понадобилась куча инстансов MLflow и как без изменения ядра продукта делать эксперименты с ONNX-моделями.

---

Как перестать пересылать Jupyter-ноутбуки по почте

Вы узнаете, какие политики написания кода в ML-проектах выработали в команде и в компании в целом. Спикеры покажут на примерах широко используемых ML-библиотек Hugging Face Transformers и scikit-learn, как писать не надо и почему, а на примерах сообщений младших коллег и стажеров (а иногда и не только) — почему каждому ML-специалисту важно знать основы безопасности в Python.

Вам посоветуют to-go решения, которые позволят сделать код читаемым, эксперименты — воспроизводимыми, а время на написание и рефакторинг своего и чужого кода — минимальным.

---

Рендеринг фотореалистичных облаков с помощью латентных кэшей (Faster-RPNN) почти в реальном времени

Доклад о передовых достижениях в области фотореалистичного нейронного рендеринга атмосферных облаков. Все детали того, как легкие нейронные архитектуры могут быть использованы в приложениях реального времени для моделирования рассеяния света в объемных облаках с помощью игровых видеокарт.

Детально рассмотрим:

• генерацию набора данных;

• проверку промежуточных этапов пайплайна;

• подходы, которые могут привести к следующей многократной оптимизации производительности, опираясь на наработки из игровой индустрии.

---

От Kubernetes к dstack: упрощенная оркестрация AI-контейнеров в облаке и локально

Разработка, обучение и развертывание AI-моделей с использованием Kubernetes может быть сложным процессом. dstack предлагает легкую альтернативу, которая упрощает оркестрацию AI-контейнеров в любом облаке или на локальных серверах. В докладе Андрей расскажет, как dstack оптимизирует разработку AI на облачных провайдерах или в своих дата-центрах.

---

Обеспечение качества работы ML-моделей от обучения до внедрения в прод

Как обеспечить качество ML-моделей на всех этапах жизненного цикла — от обучения до внедрения в прод? Рассмотрим на примере архитектуры поискового сервиса Яндекс Лавки. Опишем работу поисковых моделей-кандидатогенераторов, таких как BERT и DSSM, и обсудим, как ранжирующие алгоритмы помогают найти релевантные товары. Вы узнаете, как проходит обучение, верификация и внедрение этих моделей, а также как тестируются их результаты до продакшен-запуска.

Важной темой станет офлайн-оценка моделей с помощью ручной разметки и проведение A/B-тестов для выбора лучших моделей на основе продуктовых метрик.

Кроме того, мы разберем способы мониторинга качества работы модели в реальном времени, чтобы избегать сбоев — таких, какие были у Яндекса. В финальной части доклада поговорим о непрерывном контроле метрик и вовлечении асессоров для оценки результатов качества моделей.

---

Заключение

Если вам нужна ещё какая-то информация — её стоит поискать на сайте конференции, приобрести билет можно там же, да и сама конференция пройдёт на этом сайте.

Чем участвовать в «конференции на сайте» отличается от простого просмотра видеозаписей докладов? Например, тем, что после каждого доклада будет возможность как следует позадавать вопросы спикеру: на YouTube такое не сделаешь. Да и в целом есть ощущение события, когда участвуешь в нём одновременно с другими людьми, даже если они находятся в совсем разных местах.

Так что ждём 8 ноября всех, для кого темы докладов актуальны, а поучаствовать в событии интересно.