Как мы работаем с качеством данных в Электронной коммерции

Привет! Меня зовут Саша Нефедова, и я работаю ведущим аналитиком по качеству данных в «Магните». Я больше года отвечала за направление Электронной коммерции, и в этой статье расскажу, как устроены наши процессы и какой результат дает командная работа на поприще управления данными.

О чем речь?

Качество данных – важная оценка информационных активов компании, которая определяет степень их пригодности для принятия решений. В Департаменте по работе с данными Магнита сформирована отдельная команда, отвечающая за эту оценку. Ценность такой работы заключается в экономии денег на принятии неверных решений из-за ошибочных данных и в экономии времени на их исправление. Мы стремимся минимизировать количество поступающих на поддержку запросов и повысить уровни прозрачности и доверия к данным компании среди бизнес-пользователей.

В компании ответственность за качество данных зафиксирована не только за командой аналитиков Департамента по работе с данными, но и за бизнес-пользователями. В наших процессах управления данными помимо аналитика качества данных задействованы бизнес-заказчик, эксперт по данным и поставщик данных. Эти роли в целевой картине должен занимать представитель бизнесового подразделения. Бизнес-заказчик создает заявки на заведение новых мониторингов, а также согласует к ним требования, а эксперт по данным несет ответственность за проверяемые показатели. Логика простая – если сотрудник отвечает за формирование бизнес-показателя, то он отвечает и за качество данных по этому показателю. Поставщик данных отвечает за корректное ведение показателей в системах-источников и корректирует их значения или схему заведения данных при возникновении ошибок. К сожалению, в жизни все работает не так легко, как на бумаге, поэтому помимо обеспечения качества большой частью нашей рутины является повышение заинтересованности бизнес-пользователей в работе с данными и определение и актуализация ответственности за данные.

Более подробно о нашей ролевой модели рассказывал руководитель направления по метаданным и качеству данных Олег Молчанов на конференции «Качество данных 2024» в рамках своего доклада «Как привлечь бизнес к управлению качеством данных?».

Что по технике?

Направление Электронной коммерции начало свое развитие в 2020 году, и с первых пилотов за 4 года среднее количество онлайн-заказов в день выросло более чем в 10 раз – с 7 тысяч заказов в день до 72 тысяч. Такой объем данных требует особого отношения как с точки зрения операционной эффективности, так и с точки зрения доверия к этим данным.  

Проверять данные нам помогают два инструмента: бизнес-глоссарий и фреймворк для разработки проверок. В бизнес-глоссарии содержится справочная информация по проверкам качества данных и отчет с результатами их выполнения. Сами же проверки пишутся на специальном фреймворке, который позволяет нам подключаться сразу к нескольким источникам данных, парсить разные форматы строк и производить сложные соединения таблиц и вычисления.  

Зачем нам проверки?

В Екоме спроектировано наибольшее количество проверок среди всех направлений, и за год работы мы успели набить немало шишек о бизнес-процессы и технологии. Проверки, которые мы разрабатываем совместно с командой системного анализа и дата-партнером, спроектированы с учетом особенностей формирования данных в витринах предметной области. Они работают не только на мониторинг уже известных ошибок, но и на определение отклонений в поставке и сборке данных. Своевременное выявление ошибок упрощает диагностику причин их появления и указывает на необходимые доработки на стороне источника или в витринах. Если мониторинг нашел ошибки в данных, автоматически создаются инциденты в Jira с их описанием. На ежедневных встречах мы с командой разбираем все выявленные ошибки и продумываем алгоритмы их решения. 

Работа с особенностями

Ландшафт данных электронной коммерции меняется очень быстро, поэтому нам приходится чутко следить за уже написанными проверками и дорабатывать их в соответствии с последними изменениями в логике формирования витрин. Иногда мы даже отключаем уже написанные проверки из-за того, что необходимость в них отпала – это нормальная практика, ничто не вечно под луной, в том числе и вычислительные мощности, которые используются для проведения проверок.  

Еще одна особенность – мы сильно завязаны на данных от внешних поставщиков, которые осуществляют доставку наших товаров до потребителей в тех случаях, когда они делают заказ не через наше приложение. Эта особенность требует особенного внимания к полноте информации, поскольку бизнесу необходимо принимать решения основываясь на всех данных, а не только на тех, которые поставщики успели прислать. На старте нашей работы с качеством данных электронной коммерции мы в первую очередь проектировали проверки, которые позволят нам выявлять пробелы в данных от поставщиков, что позволило сократить время реагирования на недолетевшие данные.  

В Магните электронная коммерция стоит особняком от оффлайн продаж, но тем не менее нам важно, чтобы данные в наших витринах соответствовали данным в общих витринах для поддержания достоверности общекорпоративной отчетности. И тут нам помогают проверки их качества. С их помощью мы отслеживаем согласованность информации по продажам во внутренних витринах электронной коммерции с информацией, на которой строится отчетность для руководителей. 

Согласованность данных важна также и внутри наших витрин. Например, при заказе продуктов через интернет формируется две сущности – заказ и корзина заказа. Они тесно связаны, поскольку отображают информацию об одном и том же событии, но с разным уровнем агрегации. Проверки качества данных в этом случае позволяют нам отлавливать проблемы с данными, когда для какого-то заказа не сформировалась корзина, что будет означать, что мы не сможем посмотреть, какие именно товары покупатель добавил к себе в заказ. На отчетность это тоже влияет.  

Наши утренние ритуалы

Для работы с качеством данных в команде электронной коммерции сформировался определенный набор регулярных активностей, которые помогают поддерживать данные в «причесанном» состоянии. Наш день начинается с дейлика, на котором мы обсуждаем текущие задачи системных аналитиков и аналитиков по качеству данных. Блок обсуждения мониторингов стоит первым в повестке, что ускоряет получение обратной связи по проблемам – некоторые инциденты решаются прямо на дейликах. Те, которые не удается обработать здесь и сейчас, мы берем в работу и обсуждаем уже вне регулярных встреч, чаще всего в чате команды. Помимо аналитиков и разработчиков в нем состоят наши главные бизнес-заказчики и эксперты по данным, что сокращает дистанцию между бизнесом и IT, а также помогает эффективно держать в курсе всех заинтересованных лиц. Большинство инцидентов удается устранить день в день, однако бывают и такие падения качества данных, которые требуют доработок на источниках или в витринах. На основе таких инцидентов мы создаем задачи на анализ и доработку, а закрываются инциденты уже по итогам проделанных работ. Бывают случаи, когда инциденты по одной проверке показывают нам, что у нас есть другие данные, которые необходимо проверять – тогда мы собираем требования к новым проверкам качества данных, согласовываем их с ответственными лицами и разрабатываем проверку.  

 Мы придерживаемся проактивного подхода к созданию проверок, поэтому на дейликах обсуждаем не только уже случившиеся проблемы с данными, но и те, которые потенциально могут возникнуть. Это повышает уверенность в поставляемых данных.

Чтобы не искать выход, внимательно посмотри на вход

В рамках проактивного подхода мы также работаем с реестрами требований к витринам. Каждый раз, когда создается новый реестр или изменяется существующий, наш любезный робот автоматически создает задачу на проработку требований к качеству данных по изменяемым или новым витринам. В реестре есть обязательный для заполнения блок «Качество данных», который содержит в себе информацию о требованиях к качеству данных для витрины – критерии ошибки, расписание, ответственные лица. Аналитик по качеству данных должен проверить заполнение этого блока и разработать проверку по требованиям оттуда, если таковые имеются.  

Результаты за год работы 

Описанный выше подход уже успел показать свою эффективность. Он позволяет оперативно и комплексно реагировать на проблемы с данными, а также вовлекать бизнес-пользователей в работу. Покажу на цифрах: 

1. На момент написания статьи на данных электронной коммерции работают 43 бизнес-проверки, еще 5 проверок находится в разработке.  

2. Чат заинтересованных в качестве данных области аналитиков, разработчиков и бизнес-заказчиков разросся с 6 человек до 19. 

3. Общее количество решенных инцидентов равняется 167, а их медианное время решения – 1,4 дня. 

Что будет завтра? 

Мы не собираемся останавливаться на достигнутом, и впереди нашу команду ждут новые вызовы. Перед нами стоит большая задача по актуализации и закреплению ответственности по проверкам и проверяемым показателям. В условиях быстро меняющегося ландшафта данных и кадровых перестановок этой задачей требуется заниматься регулярно, поскольку без прозрачной и актуальной системы ответственности за данные мы не сможем эффективно отвечать на запросы бизнеса по обеспечению качества потребляемых данных.  

Еще один вызов – переезд на Корпоративную Платформу Данных 2.0, более надежное и доступное хранилище, чем наше старое КХД. Его архитектура спроектирована с учетом потребностей компании по сбору метаданных витрин и проверке качества поступающих данных, поэтому туда уже встроены необходимые модули. По завершению работ по переезду на новое хранилище нам потребуется выстроить новую сеть проверок и покрыть ими все критические объекты. 

Одним из возможных векторов нашей работы также может стать внедрение методов машинного обучения для мониторинга качества данных. Мы понимаем их возможности в области качества данных, однако нам требуется лучше исследовать тему применения этих методов на конкретных данных. Эта амбиция найдет свое воплощение только после того, как мы сможем покрыть все потребности бизнес-пользователей, используя более простые и ресурсоэффективные алгоритмы проверки данных. 

А как вы работаете с качеством данных?  

Если вам интересен наш подход к управлению данными, и вы хотели бы поработать в крутой и инициативной команде на поприще качества данных, посмотрите наши актуальные вакансии на портале Magnit.Tech или напишите мне на runnyquasar@gmail.com. Да, у нас есть рефералка😊