Урок от Yammer: конверсия при регистрации

Когда мы проводили собеседования с кандидатами в продакт-менеджеры, мы спрашивали, как бы те изменили наш процесс регистрации и почему. Наиболее частым ответом было удалить шаги, которые выглядели ненужными. Это звучит неплохо, давайте попробуем.

Пройдите тест

Хотите проверить ваши навыки продакт-менеджера? Пройдите тест "Сокращаем процесс регистрации" (около 30 минут) перед тем, как читать пост.

Гипотеза Кристины

Кристина Люси предложила удалить два шага из процесса регистрации и заменить их добавлением информации в самом продукте. Она предположила, что это перемещение упростит задачу новым пользователям и увеличит их приток.

Оригинальный процесс регистрации

Идея была довольно проста. Когда человек проходит процесс регистрации, он еще толком не видел самого продукта. Вы можете представить, что может подумать пользователь, если вы просите добавить свою фотографию или присоединиться к каким-нибудь группам. Если вы попросите сделать это уже после того, как пользователь познакомился с вашим продуктом, то он вероятнее всего, сделает это. К тому же, мы немного упростили процесс регистрации, так что больше пользователей пройдут его, не прерывая.
С этими мыслями, Кристина структурировала ее тест:

Вариант 1

Удалить шаг "Добавьте свое фото" из процесса регистрации и добавить на главную страницу баннер, который просит пользователя добавить фото.

Запрос на добавление фото на странице продукта

Вариант 2

Удалить шаг "Присоединитесь к группам" из процесса регистрации и добавить секцию "Предлагаемые группы" к навигационным ссылкам слева.

Предлагаемые группы в разделе навигационных ссылок

Вариант 3

Переместить оба этих шага из процесса регистрации.

Оригинальный процесс регистрации таков: (1) пользователь заполняет информацию в профиле, (2) пользователь подписывается на коллег или приглашает их, (3) пользователь присоединяется к существующим группам, (4) пользователь загружает фото.

Результаты теста

Смотри полные результаты здесь

Все пошло не так, как задумывалось…
Для новых пользователей в тестовых группах понизилась частота постов и меньше пользователей привлекалось каждый день.

Что решила Кристина?

Основываясь на результатах тестирования, Кристина добавила баннер загрузки фото в продукт. Она не добавила модуль "Предлагаемые группы" и не вырезала ни одного шага из процесса регистрации.

Почему она так поступила?

Причиной удаления шагов из процесса регистрацией было привлечь больше пользователей в продукт. Несмотря на то, что два варианта достигли этого (удаление присоединения к группам и удаление обоих шагов), Кристина заметила, что новых пользователей стало значительно сложнее удерживать. Немного улучшилось количество привлеченных за неделю пользователей, что, разумеется, очень важно, но это плохо обернулось для активности пользователей — частота постов уменьшилась на 4%, а загрузка фото на 34%.
Объяснение: После того, как пользователи завершали упрощенный процесс регистрации, тестеры начинали знакомство с продуктом без фото и групп. Они были менее вовлечены в Yammer, чем группа, проходившая оригинальный процесс регистрации, меньше понимали, несет ли Yammer ценность для них, и меньше хотели запостить что-нибудь и пользоваться продуктом дальше

Но что насчет увеличения в отправке приглашений?

Хороший вопрос. Кристина и аналитик анализировали данные, чтобы понять, компенсируют ли приглашения новых пользователей падение в способности к удержанию. Они обнаружили, что это не так, и решили не сокращать процесс регистрации.

Почему она добавила баннер для фото?

Количество существовавших пользователей с загруженными фото составило около 9%, что было понятно. Так как они уже прошли процесс регистрации, нам не нужно было волноваться об их удержании, которое усложнялось из-за сокращений. В качестве небольшого бонуса, мы заметили рост количества людей, приглашенных существовавшими пользователями.
Правда существовала небольшая проблема — количество создаваемых групп уменьшилось на 6%. Кристина приняла это, потому что создание групп было не так важно для сети Yammer, а наша интуиция подсказывала, что фото для профиля важны для удержания пользователя в продукте.
Объяснение: Баннер добавления фото большой и забирает все внимание со всей левой колонки на себя, так что пользователи не замечают некоторых пунктов меню, например создание группы.

Вопросы:

Что насчет метрик/результатов, которые вы не упомянули?

Мы либо не считали их важными, либо их P-значение был слишком велико, чтобы они были статистически значимыми. Как я упомянул в тесте, мы обычно игнорируем результаты с P-значением большим 0.3, и мы скептически относимся к показателям, P-значение которых больше 0.2. Ученые обычно игнорируют все с P-значением большим 0.05, так что мы еще довольно гуманны.

Почему Кристина не ввела модуль "Предлагаемые группы"?

Эта функция выполняла прямо противоположную задачу. Пользователи стали присоединяться к группам на 18.5% реже. Несмотря на это, появилось странное возрастание в количестве постов, но оно было недостаточно велико, чтобы компенсировать это.

Итоги

Как удаление шагов из процесса регистрации может быть плохой идеей? Из этого эксперимента, мы поняли, что процесс регистрации — отличное место для того, чтобы вовлечь пользователя в продукт, даже если они еще толком его не видели. Это контринтуитивно, но поведение пользователей часто именно таково.
Также этот пост показывает, что A/B тестирование не только помогает выбрать из 41 оттенка синего. A/B тестирование может помочь проверить рискованные изменения в продукте.
Если вам понравился этот пост, прочитайте запись Дрю Диллона о том, почему статистика — не враг, и почему вы не должны ее бояться.