MLOps, часть II: погружаемся в специфику работы с данными

Друзья, продолжая наш подкаст-проект «Деньги любят техно», мы рады представить вам вторую часть большой темы про MLOps, которую мы разбили на несколько эпизодов. Сегодня мы ещё глубже погружаемся в тему машинного обучения и работы с данными, лежащей в основе ML. Рассматриваем вопросы обогащения данных, разбираемся с разметкой, говорим о специфических аспектах управления данными.

Юрий Карев, руководитель управления процессов и стандартов моделирования и машинного обучения ВТБ, и Алексей Незнанов, к.т.н, старший научный сотрудник международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ, подошли к теме с двух сторон: теоретической и практической. Помогли ведущей подкаста разобраться с терминологией. А также поговорили про специфику подходов к образованию для специалистов в Data Science, DataOps и MLOps.

В этом выпуске вы услышите:

• Почему общепринятых стандартов управления данными недостаточно для работы с большими данными для ML

• Что такое хвосты и артефакты в сверхбольших данных

• Может ли overfeeding стать причиной overfitting’a (или это одно и то же?)

• И многое другое…

Полезные ресурсы и ссылки:

• Курс MLOps (OTUS): https://otus.ru/lessons/ml-bigdata/

• Основные идеи из книги «Сотрудничество в DevOps-культуре»: http://agilemindset.ru/основные-идеи-из-книги-сотрудничест/

• MLOps: Continuous delivery and automation pipelines in machine learning: https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

• Как создавать качественные ML-системы. Часть 1: каждый проект должен начинаться с плана: https://habr.com/ru/companies/vk/articles/749850/

• Как создавать качественные ML-системы. Часть 2: приручаем хаос: https://habr.com/ru/companies/vk/articles/749852/

• The Data Engineering Cookbook: https://github.com/andkret/Cookbook   

Стандарты:

• ISO/IEC DIS 5259-1: https://www.iso.org/standard/81088.html

• SO/IEC DIS 5259-4: https://www.iso.org/standard/81093.html

• ISO/IEC 8183:2023: https://www.iso.org/standard/83002.html