Как настроить продуктовую аналитику и усилить data-driven культуру в компании

Для омниканальной продуктовой аналитики Лига Ставок использует систему Amplitude, прошедшую пилотные испытания с воронкой, регистрация-идентификация. Наша задача — помочь клиентам «в один клик» приступить к игре.

Опираясь на данные, полученные из Amplitude, мы сформировали гипотезы: «Почему клиенты не завершают идентификацию?» и начали проверку. Одни оказались успешными, другие менее, но эффект положительный. Подключили максимум клиентских событий к сервису, собираем и анализируем данные, делаем выводы, планируем следующие задачи, опираясь на аналитику, и хотим показать на практике, как мы улучшаем наш продукт.

Работа с данными без Amplitude

Как появилась аналитика данных

В начале 2020 года в Лиге Ставок сформировали новый отдел «Центр аналитики»‎ (Data Office), который стал связующим звеном для подразделений бизнеса по предоставлению данных и проведению исследований.

Но с созданием команды появлялись новые требования к источникам данных, что подсветило главный недостаток в аналитике: отсутствие отдельной системы с данными о поведении пользователей в продукте. Поэтому тогда же в начале 2020 по запросу Дмитрия Урдина, главного менеджера по продукту в Лиге Ставок, было принято решение о внедрении системы продуктовой аналитики. Вопрос был только в том, какую выбрать.

Кто работал с данными

Основной упор в продукте делали на привлечении трафика, поэтому требовался сбор и анализ данных как для команды маркетинга, так и для всего бизнеса. До появления Data office и продуктовой аналитики задачи по аналитике были абстрактные, без конкретных целевых результатов. Поэтому в процессе сбора данных возникали проблемы:

1. Сложно было определить приоритетность задач, а их выполнение занимало от недели до нескольких месяцев;

2. В каждом подразделении были собственные аналитики, свои источники и модели расчета. Поэтому одни и те же показатели часто отличались по качеству и наполнению;

3. Из-за большой нагрузки или отсутствия web-аналитика маркетологи и менеджеры по развитию продукта не могли получить полноценную информацию о метриках, даже если имели доступ в системы Яндекс.Метрика, Google Analytics, AppsFlyer. Им приходилось оставлять заявку в Help Desk и, в зависимости от приоритетов и свободного времени сотрудников, ждать ответ от нескольких часов до недель;

4. Отсутствие контроля качества. В команде не было человека, который бы проверял корректность сбора давно введенных событий. Они проверялись только при аномальных росте или падении.

Мы поняли, что оценить эффективность всех команд, влияющих на продукт, и обеспечить стабильный рост бизнеса можно только на основе точных данных. Так проблема сбора и анализа данных о пользователях в продукте стала ключевой.

Проблема — нехватка данных о пользователях по использованию продуктов компании

Чтобы решить эту проблему, мы использовали стандартные системы: Google Analytics, Яндекс.Метрика, AppsFlyer и внедряли систему аналитики Matomo. Не все данные собирались корректно, и в in-house решениях часто возникали проблемы, например, с базой данных Matomo при высокой нагрузке. Поэтому базу приходилось очищать, в том числе и от нужных данных. Наш опыт лишь доказывает, что в большинстве случаев для продуктовой аналитики лучше использовать готовое решение, а не делать собственную систему.

Решение — внедрение системы продуктовой аналитики Amplitude

Чтобы принять решение о покупке Amplitude, мы прошли несколько этапов внедрения этой системы:

1 этап — Аудит

На этом этапе аналитикам Adventum нужно было проанализировать, как устроена аналитика у нас в компании и выявить узкие места, которые требуется улучшить. Для этого составили список вопросов:

• как внедряют аналитику;
• какие документы и регламенты сформировали по работе с данными;
• как поддерживают аналитику;
• как оптимизируют продукт и в каком формате отчитываются;
• насколько доступны данные;
• как происходит коммуникация между командами.
  На основе ответов от нашей команды выявили основные проблемы: разрозненность и ограниченная доступность данных, отсутствие регламентов по работе с ними.

«На этом этапе нужно было выявить основные проблемы в процессах и дать рекомендации по их устранению. Ведь самое важное для data-driven компании — это удобные процессы по работе с данными. Данные должны быть доступны, понятны, подкреплены документацией и регламентами. Немаловажно — вовлечение сотрудников и их обучение по каждому из пунктов. Именно на это были направлены наши усилия в дальнейшей работе».
Вадим Шестаков, руководитель отдела аналитики Adventum

2 этап — Подготовка к тестированию

Перед тестированием важно определить, какие именно события отправлять в Amplitude, и записать их в единый реестр — перечень действий, которые совершает пользователь на сайте. Реестр помогает разработчикам понять, что значит то или иное событие, если это не очевидно из названия.

На этапе обсуждения планировали разметить небольшой участок воронки — регистрацию в iOS приложении, потому что там уже была настроена отправка событий в системы аналитики, но после составления схемы и реестра событий мы решили сразу разметить основные воронки регистрации, ставок и заключения пари.

В процессе разметки мы выделили особенности строения продукта в сфере беттинга, которые задали нам вектор дальнейших действий: большое количество ивентов, на которые можно сделать ставку, и множество вариантов исхода ставки. Они дробятся, поэтому на сайте может происходить несколько сотен разных событий в день. Мы ввели более крупные категории по видам спорта, лигам и добавили id событий, чтобы легче их отслеживать. По правилам безопасности в беттинге нельзя передавать данные о стоимости «покупки»‎. Поэтому мы концентрировались на исследовании пользовательского пути, а не на сумме пари.

3 этап — Проверка концепции (Proof of Concept)

Пока данные по воронкам собирались, мы с командой Adventum приступили к обсуждению Proof of concept (POC) — критериев эффективности внедрения Amplitude в продукт. Цель — решить, как мы на своей стороне будем измерять ценность системы.

Результатом стал документ, где были прописаны:

1. Все этапы внедрения, от заключения POC до полноценной интеграции со сроками и ответственными исполнителями;
2. Риски. Мы выделили один риск — задержку в отправке данных;
3. Критерии оценки успеха: полнота данных, уровень их детализации, выявление резких спадов и подъемов в аналитике и так далее.

На этом же этапе аналитики Adventum провели оценку стоимости на основе примерного количества отправляемых событий в месяц (50-100 млн).

4 этап — Тестирование

На этот период нам подключили расширенную версию Amplitude и организовали тренинг, чтобы научить наших сотрудников пользоваться системой и показать, какие инсайты можно найти с помощью ее инструментов.

5 этап — Принятие решения

«Сначала мы думали, что когда запустим Amplitude, она как волшебная палочка по взмаху ответит на все вопросы, которые нас интересовали, подсветит все точки роста в продуктах. Когда мы интегрировали систему и запустили в нее данные, то поняли, что самый сложный вопрос заключается в разметке продуктов: как разметить каждый элемент продукта, чтобы выстроить их в цепочку и понять, где слабое место».
Алексей Кочанов, начальник отдела Data Office Лиги Ставок

Наша команда сформировала задачи для Amplitude, которые мы хотим решить с помощью системы:

1. Удерживать клиента, найти причины низкой конверсии, оттока и уменьшить его.
2. Увеличить конверсию в регистрацию, совершение ставки и депозит.
3. Интегрироваться с другими системами.
4. Отслеживать Customer journey map (CJM) и следить за воронками в регистрацию, ставку с пониманием всех шагов и скорости их прохождения.
5. Отслеживать, из какого раздела совершается ставка.
6. Отслеживать работу с корзиной (купонником), куда пользователь добавляет события: почему «покупка»‎ ставки не удается, какие исходы бросают и почему.
7. Отслеживать, что люди, пришедшие по целевой компании, выполняют условия, а если нет — откуда уходят: с неинформативного лендинга, на этапе авторизации, и так далее.
8. Отслеживать, пользуются ли клиенты новыми фичами и как ими пользуются.

Как сейчас работают с данными в Amplitude

С Amplitude каждый в Лиге Ставок может обратиться к данным, проанализировать их и предложить гипотезы по развитию продукта или решению проблемы. Раньше это могли сделать только руководители отделов. Благодаря этому у наших команд появился инструмент оценки: KPI по конверсиям и другим целям.

На ранних этапах внедрения Amplitude системой пользовались единицы сотрудников Лиги Ставок. Спустя полгода сервисом продуктовой аналитики активно пользуются 30 сотрудников.

С появлением единой системы продуктовой аналитики изменилась и структура нашей компании: помимо нового отдела Data office в Центре аналитики, создается отдел исследования пользовательского опыта. Всего в центр сейчас входят 7 человек, которые собирают, обрабатывают и используют данные в аналитике. И это только начало — Лига Ставок активно растет и ищет новые таланты. Узнайте больше о компании, атмосфере и посмотрите открытые вакансии. А если не нашли подходящую, отправьте резюме на hr@ligastavok.ru
Евгения Агеева, руководитель направления комьюнити в Лиге Ставок

Какие данные мы собираем в Amplitude

Максимальная разметка продуктов: она приближена к e-commerce, у нас те же товары (ставки) и корзина (купонник), но без передачи информации о деньгах. Для этого сделана интеграция с корпоративным хранилищем компании, где финансовые данные объединяются с данными продуктовой аналитики по пользователям.

Это решение позволяет дополнить профиль клиента в Amplitude с помощью данных из CRM. Теперь есть возможность сегментации по импортированным данным для проведения продуктово-поведенческой аналитики не только интересующих клиентских когорт при работе с гипотезами, а общепринятых сегментов букмекерского бизнеса.

Цифровой путь клиента в продукте: на данных, которые фиксируются в Amplitude, будут выстраивать рекомендательную систему с персональными предложениями.

Какие инсайты получили от внедрения Amplitude

Благодаря внедрению системы Amplitude наши аналитики обнаружили слабые места в продукте и внутренних процессах:

• Некорректно собираются данные об ошибках. Когда клиент делает ставку и сталкивается с ошибкой, он получает уведомление об этом. Это событие записывается в мастер-систему и уходит в работу к аналитикам. Ошибки отправляются рандомно, поэтому их сложно отследить и быстро исправить.

• Сложный этап регистрации и первой ставки. Он строится по большой воронке: пользователю нужно заполнить анкету в несколько страниц, добавить документы, дождаться валидации и пройти еще много шагов, чтобы в итоге сделать ставку. Это воронка, в которой на каждом шаге может уйти пользователь. Поэтому было важно найти в ней узкие места и улучшить их.

• Нужно создать процесс работы с данными. В требованиях к команде разработки стали подробно описывать, какие шаги пользователя в продукте передавать в Amplitude. Так, продакт-менеджеры и маркетологи выявляют популярные и непопулярные места в сервисе, а также предлагают гипотезы по улучшению пользовательского опыта.

Что планируем дальше

• Настроить рекомендательную систему для пользователя: подсвечивать те места, которые его раньше интересовали;
• Настроить персональные уведомления: напоминать клиенту о событии, которым он интересовался, но по которому так и не сделал ставку, и о событии, которое осталось в «купоннике»;
• Запустить в компании исследовательское подразделение, где на основе собранных данных будут разрабатывать решения по улучшению продукта.

«После внедрения Amplitude мы пересмотрели все наши подходы как до, так и после принятия решения. Это важный фактор, который повлиял не только на наш подход к решению проблем, но и на корпоративную культуру компании. Мы угадали с системой, а дальше все зависит от того, как мы научимся ее использовать».
Алексей Кочанов, начальник отдела Data Office Лиги Ставок

Таким образом команда Data office хочет повысить лояльность клиентов и влиять на их поведение с помощью собранных данных.

«Мы прошли долгий путь настройки подробного сбора данных с сайта и приложения Лиги Ставок, провели полный онбординг клиента в систему Amplitude: от обсуждения основного фокуса аналитики до обучающих мероприятий по работе с платформой. Теперь сотрудники Лиги Ставок могут самостоятельно работать с данными, искать полезные инсайты и делать продукт лучше, не дожидаясь ответа от отдела аналитики.
Я рад, что совместно с коллегами из Лиги Ставок нам удалось проделать такую работу и заложить основу культуры продуктовой аналитики в компании».
Вадим Шестаков, руководитель отдела аналитики Adventum

Культура продуктовой аналитики ведет к увеличению числа гипотез, ускорению разработки и росту метрик. Каких результатов нам удалось добиться, вы узнаете в следующих кейсах.

СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА СТРАНИЦЕ СПЕЦПРОЕКТА