Сроки доставки заказов: как в Авито сделали прогноз более точным

Привет! Меня зовут Андрей Васильченко, я аналитик в команде Авито Доставки. Несколько лет назад мы запустили это направление, чтобы дать возможность покупателям и продавцам из разных регионов отправлять товар друг другу. Мы доставляем товары в пункты выдачи, постаматы и курьером до двери. 

В этой статье я расскажу, почему мы считаем, что нужно работать над улучшением прогнозов сроков доставки для покупателей, как мы предсказывали их раньше, что изменили сейчас и что хотим учесть в будущем.

Доставка или самовывоз: как покупатели принимают решение

При выборе между доставкой и личной встречей с продавцом покупатели ориентируются не только на срок доставки. На их решение также влияют:

• цена доставки;

• близость пункта выдачи;

• бренд пункта выдачи;

• прошлый опыт заказов.

Идеальная доставка для покупателя — бесплатная, в пункт выдачи рядом с домом, за 1–2 дня.

Срок, в который покупатель получит заказ, зависит от способа доставки, расстояния от продавца до покупателя, скорости обработки заказов на складах и других факторов. Мы анализируем эти данные и показываем предполагаемое время доставки при оформлении заказа.

Почему срок доставки важен для покупателей

Мы проанализировали исторические данные о заказах с доставкой и выделили две причины, по которым стоит работать со сроками:

1. Срок доставки влияет на конверсию в заказ. Пользователи чаще выбирают доставку, если знают, что заказ приедет быстро. Чем больше срок, тем ниже конверсия в покупку. На скрине приведена разница в конверсии на одном из шагов воронки.

2. Опоздание доставки снижает retention покупателей в следующую покупку. Пользователи, которые получили заказ с опозданием, реже возвращаются за новой покупкой.

Мы предположили, что если уменьшить сроки и не допускать опозданий, то заказов будет больше и покупатели будут выбирать доставку, а не встречу с продавцом. В задаче улучшения сроков есть простор для оптимизации: у нас более 100 000 направлений, 10 служб доставки, 50 000 пунктов выдачи. 

Сложности в оценке сроков доставки

На момент запуска Авито Доставки в расчете сроков для покупателя мы учитывали несколько факторов:

• как быстро продавец отправит товар;

• как быстро служба доставки довезет товар до покупателя

• нерабочие дни / праздники

Сложность в том, что Авито может учитывать эти факторы, но не может на них влиять. Например, мы не знаем, как быстро продавец отнесёт заказ в пункт приёма. Поэтому на этом этапе нужно учитывать возможные задержки. 

Другой фактор, на который мы не можем повлиять — как быстро служба доставки довезет товар до покупателя. Cлужбы доставки предоставляют сроки, в которые они обещают доставить товар по данному направлению. Но они часто завышают их, чтобы не портить свою статистику возможными опозданиями. По факту доставка часто происходит быстрее заявленных сроков, и мы хотим показывать это покупателям.

Как мы оценивали качество сроков на запуске доставки

В мире логистики есть стандартная метрика — PSDD (promise shipment delivery date), которая помогает оценить качество прогнозирования сроков. Предсказание считается хорошим, если заказ доставлен за 1–2 дня до окончания срока. Если за 3 дня и раньше — то это плохое предсказание, и в этом недостаток метрики.

Например, мы показали пользователю срок доставки от 2 до 5 дней. Чтобы заказ попал в категорию правильно предсказанных сроков, его должны доставить за 3, 4 или 5 дней. 

По этой метрике мы получали всего 55% хороших заказов при небольшой разнице между минимальной и максимальной датой доставки. Для направлений, где разброс сроков доставки больше, она становится еще неинформативнее. Допустим, у нас есть данные о реальных сроках доставки в конкретном направлении:

Разброс времени доставки от 1 до 10 дней, честным прогнозом для покупателя тут будет срок от 2 до 8 дней (потому что 90+% заказов приедет в этот срок). При этом для максимизации метрики PSDD нужно сдвинуть 3ех дневное окно так, чтобы в него попала наибольшая доля заказов. В данном кейсе вряд ли удастся найти такое положение, где число хороших заказов будет больше 50%. А если мы начнем подгонять прогноз так, чтобы увеличить число хороших заказов, это не сделает пользователей счастливее тк много заказов приедет не в заявленный слот.

Как мы меняли метрику и выбрали подходящую

Стандартная метрика нам не подошла. Прежде чем выбирать другую, мы в команде определили, что идеальная для нас метрика: 

• Легко объяснима коллегам и руководству.

• Связана со счастьем пользователя и помогает нам делать продукт лучше.

• Покрывает функциональность продукта: если метрика достигает целевых значений, то продукт не может быть плохим для пользователей.

• Чувствительна к изменениям в продукте.

С учётом этих идей мы выбрали две простые метрики, для которых рассчитали нужные нам значения:

1. Мы считаем заказ хорошим, если попали в спрогнозированный интервал. Таких заказов должно быть не меньше 90%. 

2. Предполагаемый интервал доставки должен быть как можно короче. Идеально — не больше 3 дней. 

Мы сравнили результаты старого и нового подходов к оценке предсказанных сроков. Новые метрики показали, что на самом деле в срок приезжают 60% заказов, и ещё 37% доставляются раньше.

В результате новая метрика дала прирост заказов с верной оценкой срока — с 55 до 60%. Это всё ещё далеко от желаемых 90%. Но то, что 37% покупателей получают заказ раньше срока, помогло нам увидеть потенциал для оптимизации и прироста конверсии в заказ.

Оптимизация предсказания сроков доставки с помощью ML

Срок доставки товара может зависеть от направления, конкретной службы доставки, дня недели и времени отправки заказа, графика работы пункта приема и выдачи товаров, сезона и других факторов. Мы решили собрать данные по каждому фактору за несколько месяцев и обучить на них ML-модель.

Задача модели — предсказать минимальный и максимальный срок доставки для покупателя так, чтобы 90% заказов приезжали в срок, при этом максимизируя точность сроков (то есть минимизируя разницу между максимальным и минимальным сроком). Таргеты модели — 5 и 95 перцентили распределения реального срока доставки. 

В качестве модели использовался Quantile Random Forest. Стандартная модель Random Forest вычисляет среднее значение целевой переменной в каждом листе дерева и затем усредняет по всем деревьям. Quantile Random Forest же вместо усреднения по всем деревьям получает распределение целевой переменной и вычисляет необходимые перцентили.

В качестве датасета для обучения одной модели использовали все заказы по одному направлению (пары городов). Были обучены модели для топ 1000 направлений доставки за 2 месяца. Следующий месяц использовался в качестве теста.

Модель показала хорошие результаты по метрикам: 92% заказов в тесте приезжает в срок, а средний интервал доставки сократился до 3 дней. Оба значения совпали с целевыми, поэтому можно было внедрять модель в продакшен. 

Кроме того, мы увидели что если в исходном датасете присутствуют час отправки заказа и график работы ПВЗ приема/выдачи, то итоговая модель имеет на 2пп (90% -> 92%) больше заказов в срок, чем без этих фичей (при том же среднем интервале в 3 дня). То есть теперь у нас есть количественная оценка того, насколько мы можем улучшить качество сроков, если учтем дополнительные параметры.

Однако в итоге мы отказались от идеи внедрять ML в прод.

Три причины, по которым мы отказались от реализации модели:

1. Запустить в продакшене ML-модель, которая работает в реальном времени для всех пользователей — это долго и сложно для разработки. Нам хотелось быстрого результата.

2. Модель требует много ресурсов на поддержку аналитиками. Придётся постоянно следить, не сломалось ли что-то в данных.

3. Предсказывающую модель сложно интерпретировать. Если руководство спросит, почему мы устанавливаем именно этот срок доставки по этому направлению, объяснить это можно будет только коэффициентами у модели.

Но всё-таки ML-модель наглядно показала, что качество предсказаний можно улучшить, поэтому мы начали искать другой подход к оптимизации.

Использование простых эвристик для уточнения сроков доставки

Есть несколько популярных направлений, по которым накопилось много исторических данных. Одно из них — Москва–Санкт-Петербург. 

Мы можем показывать пользователю срок с разбросом в 4 дня, но хочется сделать предсказание более точным. Чтобы сузить диапазон до 3 дней, нужен дополнительный разрез данных. Мы решили проверить, как на срок доставки влияет день отправления заказа. Данные разбили по дням недели.

Новые разрезы показали, что если покупатель смотрит товар в рабочий день, ему можно показать интервал 2–4 дня, а если в выходной — 3–5 дней.

Но этот подход сложно применить к направлениям, где нет достаточного объема исторических данных. 

Для таких направлений мы решили смотреть разрез не по городам, а по регионам: вместо направления Тамбов–Анапа анализируем сроки доставки из Тамбовской области в Краснодарский край.

В прогнозе мы также учитываем, что продавцы используют разные службы доставки. У каждой из них есть своя специфика, которая влияет на скорость. Например, одна возит товары на машинах, а другая — отправляет самолётом. 

В итоге мы получили алгоритм на основе нескольких простых эвристик, который можно использовать для всех направлений: 

• Берём направление в разрезах по дню отправки и службе доставки.

• Если заказов по этому направлению больше N, то прогнозный срок рассчитывается по паре городов.

• Если заказов по направлению меньше N, то прогнозный срок рассчитывается по паре регионов.

• Минимальный срок соответствует 5-му перцентилю от всех заказов, а максимальный — 95-му.

• учитываем праздничные дни на исторических данных.

После реализации алгоритма мы сравнили результат его работы с предсказанием ML-модели. Оказалось, что он делает предсказание немного хуже.

Стоит ли продолжать улучшать предсказание сроков

Когда стало понятно, что эвристики работают, мы решили проверить, есть ли смысл ещё больше погружаться в оптимизацию сроков. Мы запустили эксперимент, в котором проверили три гипотезы: 

1. Снижение срока доставки увеличит количество заказов

Мы предположили, что сокращение срока доставки на 1 день (например там где было 2–3 дня показать 1–2 дня) значимо увеличит конверсию покупателей в заказ. 

Эта гипотеза подтвердилась: число заказов в некоторых направлениях выросло более чем на 5%. Это значит, что действительно имеет смысл искать способы снизить срок доставки.

2. Увеличение сроков доставки сократит долю опозданий и предотвратит падение retention

Если показать пользователю заведомо больший срок доставки, то товар скорее всего приедет в этот срок. Значит, пользователь не будет огорчен задержкой и снова воспользуется доставкой.

Гипотеза также подтвердилась: retention в тестовой группе был выше на 5%. Но при этом количество заказов уменьшилось. Это значит, что просто снижать сроки доставки нельзя т.к. мы увеличим заказы в моменте, но потеряем в будущем.

3. Больший срок доставки снизит количество обращений в техническую поддержку

Пользователи не будут обращаться в поддержку, если заказы приезжают вовремя.

Эта гипотеза не подтвердилась: сроки доставки никак не повлияли на количество обращений в поддержку. Мы выяснили что пользователи обращаются не из-за опозданий заказов, а из-за того что не могут найти прогнозный срок в интерфейсе.

Что мы планируем делать дальше

Работа по проекту ещё не закончилась. Для более точных прогнозов имеет смысл учесть ещё два разреза данных т.к. благодаря ML-модели мы знаем, что они улучшают качество прогноза:

1. График работы пунктов выдачи в городах продавца и покупателя. Например, если мы знаем что пункт выдачи не работает в выходные, то это можно заложить в срок доставки. 

2. Время суток, в которое отправлен заказ. Если продавец передал товары в доставку утром, то они окажутся в дороге раньше, чем если бы их передали вечером. 

Ещё один способ сократить время доставки — мотивировать продавцов быстрее отправлять товары, тогда и покупателю они придут быстрее. Мы знаем, что многие предпочитают накапливать заказы за 1–2 дня и потом передавать их в доставку разом. Сейчас мы ищем способ сделать быструю отправку более выгодной.

Также мы знаем, что сроки имеют сезонность: зимой заказы доставляется дольше, чем летом. Мы планируем автоматизировать учёт этой сезонности в продакшене.

Итоги

Сроки доставки — это важный фактор для покупателя при принятии решения воспользоваться Авито Доставкой. Мы проанализировали исторические данные и убедились в том, что более точные и короткие сроки положительно влияют на retention и конверсию в покупку.

Нам удалось сделать то, что мы запланировали:

• выбрать подходящую метрику для оценки качества прогнозирования сроков доставки: понятную, чувствительную к изменениям, коррелирующую со счастьем пользователей;

• выбрать подходящий метод прогнозирования сроков: мы попробовали ML, но пока остановились на простых эвристиках т.к. они позволили достичь целевых значений по метрике и оказались проще в реализации

• увеличить количество заказов с качественными сроками до 90%;

• с помощью АБ-теста с искусственным уменьшением сроков убедиться, что дальнейшая оптимизация сроков приведет к росту заказов

Таким образом, в дальнейшем у нас есть все возможности, чтобы показывать покупателям сроки, которые будут ещё короче и точнее. Так мы будем наращивать количество заказов через Авито Доставку и делать пользователей Авито счастливее.

Предыдущая статья: Как осознать себя в роли руководителя тимлидов