Как проводить опросы удовлетворенности среди клиентов: опыт Selectel

Привет! Меня зовут Саша Старикова, я младший исследователь пользовательского опыта в Selectel. Мой отдел собирает обратную связь от клиентов и доносит ее в виде идей и выводов до заинтересованных команд.

Мы работаем как лаборатория внутри компании: коллеги из смежных подразделений обращаются для проведения исследования под ключ или приходят за консультацией. Например, нас могут попросить проверить вопросы для интервью или провести исследование новой главной страницы сайта — недавно выполняли такую задачу. Моя команда помогает организовать опросы и тестирования интерфейсов.

Более сложные исследования проводим мы сами. Недавно рассказали о таком в статье. Такие проекты направлены на получение более комплексных знаний о наших пользователях. Ярким примером подобного исследования стал опрос удовлетворенности клиентов CSAT. В статье поделюсь первым опытом запуска и расскажу, что из этого получилось.

Как мы изучали мнения клиентов

Нельзя сказать, что мы совсем ничего не знаем об удовлетворенности пользователей Selectel. Впервые попробовали замерять эту метрику в 2020 году. Тогда мы рассылали опрос в письме — из-за этого получили критически низкое количество ответов и не смогли сделать никаких выводов.

В 2022 году моя команда запустила большой опрос об опыте управления инфраструктурой. Теперь он проходит ежегодно среди клиентов Selectel и внешней аудитории в том числе. Если вам интересно, прочитайте отчет с трендами инфраструктуры в 2024 году — он основан на наших исследованиях.

В этом опросе, помимо прочего, мы оцениваем общую удовлетворенность Selectel, а также удовлетворенность по отдельным аспектам. Это частично закрыло пробелы в знаниях, но все же инструмент до конца не решал нашу задачу регулярного отслеживания удовлетворенности клиентов.

1. Опрос очень комплексный и содержит много вопросов по другим не менее важным темам. Пользователю нужно выделить время, чтобы пройти его.
2. Мы проводим этот опрос раз в год, поэтому не можем быстро отслеживать чувствительные и волнующие клиентов моменты. Так есть риск пропустить важные изменения. Более частый опрос поможет отслеживать динамику мнений на короткой дистанции.

Почему выбрали индекс CSAT?

Чтобы держать руку на пульсе удовлетворенности клиентов, выбрали индекс CSAT — Customer Satisfaction Score.

• Он несложный для клиентов: нужно ответить всего на два вопроса.
• Команде легко интерпретировать результаты благодаря простой шкале и расчету.
• Сам опрос полезен для многих команд в компании, и не только продуктовых: клиенты дают обратную связь по многим параметрам — от стоимости до качества общения техподдержки.

Вот о чем мы спрашивали.

1. «Насколько вы удовлетворены сервисами Selectel?»

Обязательный вопрос с выбором оценки от 1 до 5. Оценки используются для расчета индекса CSAT.

1. «Что мы можем улучшить?»

Необязательный открытый вопрос. Конечно, его было сложнее анализировать, чем предыдущий. Зато мы смогли выделить аспекты, значительнее всего влияющие на удовлетворенность. А еще этот вопрос дает возможность пользователям поделиться обратной связью в свободной форме.

Формула расчета:

Мы использовали 5-балльную шкалу. К довольным клиентам относили тех, кто поставил 4 и 5.

Подготовка к запуску и проведение опроса

Мы показывали опрос в панели управления (ПУ) my.selectel.ru, где пользователи работают с услугами. На тот момент у нас уже был отработанный сценарий для запуска опросов в ПУ — внутри компании мы называем их контекстными. Они показываются пользователям при выполнении заданных условий — триггеров. Например, мы можем показать опрос пользователям, которые только что арендовали выделенный сервер или создали дополнительного пользователя в аккаунте.

В случае опроса удовлетворенности было два триггера: авторизация пользователя в панели управления my.selectel.ru и время, проведенное в ПУ. Спустя 15 секунд после входа в панель управления появлялось окно с опросом.

Опрос отображался только один раз — пользователь мог пройти его или просто закрыть окно.

Поскольку форма была элементом ПУ, нам потребовалась помощь фронтенд-разработчика и тестировщика из команды панели управления. Коллеги добавили опрос с запланированной датой старта и убедились, что все выглядит так, как должно. На работу ушло около пяти дней. Это не первый опыт запуска контекстного опроса, поэтому с технической стороны все процессы уже были отработаны.

Опрос составлен, условия показа определены, запуск запланирован. Казалось бы, что может пойти не так? Спойлер: были два момента, в которых планы нарушились. Но поговорим об этом чуть позже.

Обработка и анализ результатов

За 30 дней мы собрали 1 121 ответ. Количество показов опроса немного превысило 23 тысячи — конверсия получилась неплохой.

Итоговое количество ответов сократилось, т. к. мы удалили:

• дубли — небольшая часть ответов была записана дважды в один и тот же момент из-за бага сервиса;
• ответы клиентов, не прошедших регистрацию до конца;
• ответы сотрудников Selectel (дорогие коллеги, спасибо, мы все прочитали, но были вынуждены удалить ваши ответы ради чистоты эксперимента).

В итоге мы получили 867 «чистых» ответов. Вот как распределились оценки:

По этим оценкам мы посчитали индекс CSAT и получили общий результат — он составил 86,62%. Нормальным считается показатель от 75% и выше, поэтому мы считаем наши итоги очень хорошими.

Затем мы приступили к обработке ответов на второй вопрос. Вручную распределили ответы по категориям «цена», «продукт», «техподдержка», «панель управления», «документация» и др. При анализе мы учитывали только «негативные» комментарии — те, что содержали конструктивную критики и конкретные предложения по изменениям и доработкам.

Для начала мы разделили всех ответивших на сегменты на основании данных об их выручке за последний полный месяц, предшествующий запуску опроса. Это одна из базовых сегментаций клиентов, которую используем в исследованиях. Мы выделили пять сегментов и посчитали индекс CSAT для каждого. Показатели немного отличались, однако статистические тесты не показали значимой разницы в уровне удовлетворенности разных сегментов. Значит, мы можем считать, что все пользователи вне зависимости от объема потребляемых услуг одинаково удовлетворены сервисами.

Также мы проанализировали комментарии клиентов разных сегментов в попытке понять, что влияет на удовлетворенность пользователей с разным объемом потребления инфраструктуры.

Изучили оценки внутри каждой категории комментариев, чтобы выделить аспекты, которые влияют на удовлетворенность больше всего:

Особенно интересным для нас оказался момент, который подтвердился после дополнительного анализа: чем больше клиенту нравится техподдержка, тем выше он оценивает взаимодействие с Selectel.

Результаты изучили. Что дальше?

Цель проведения опроса — оценить удовлетворенность клиентов и выявить наиболее болезненные точки в их взаимодействии с Selectel. Поэтому основными заинтересованными лицами в результатах мы видели продуктовые команды и специалистов клиентского сервиса. Мы провели презентацию результатов руководителям этих департаментов, собрали обратную связь и пожелания на будущее. Отдельно подготовили таблицу с комментариями пользователей с разбивкой по продуктам и сервисам — ее отдали напрямую командам развития продуктов.

Для себя мы сформировали новые гипотезы. Проведем аналитику и проверим взаимосвязь удовлетворенности с другими метриками, например, retention, в том числе и в долгосрочной перспективе.

Те самые нюансы

Поскольку исследование проходило первый раз, были недочеты, которые мы взяли на доработку.

1. Показывали опрос всем пользователям, включая новых и не завершивших регистрацию.

Мы не задали условие по «возрасту» клиента в Selectel, поэтому опрос видели в том числе пользователи, которые буквально только что создали аккаунт или даже не дошли до конца этого этапа. У большинства еще не было опыта работы с нами, поэтому оценить свою удовлетворенность они толком не могли.

Кто-то ставил случайную оценку — это искажало результаты при анализе. Да и сами пользователи не были рады свалившемуся на них опросу сразу после регистрации.

1. Выбрали не лучшую формулировку открытого вопроса.

Формулировка второго вопроса «Что мы можем улучшить?» повлияла на анализ и интерпретацию результатов. С такой постановкой мы получили много ответов, где пользователи оценили удовлетворенность на 5, но оставляли комментарий с конструктивной критикой, в том числе о возможных улучшениях и изменениях. Такие комментарии мы не могли оценивать как однозначно положительные, поэтому при дальнейшем анализе рассматривали как негативные. Это, в свою очередь, помешало оценить, какие упомянутые аспекты больше всего влияют на удовлетворенность. Где-то мы получали «завышенные» оценки.

Сейчас мы проводим второй опрос удовлетворенности и в нем заменили формулировку второго вопроса на «Почему вы поставили такую оценку?». Так интерпретация ответов будет более прозрачной, а сам вопрос даст пользователям больше мотивации делиться обратной связью.

1. Результаты анализировали несколько человек

Возможно, это покажется вам очевидным, но анализ результатов лучше отдать одному человеку. Мы занимались аналитикой втроем, из-за этого постоянно терялись в таблицах, документах и их бесконечных копиях. Считали результаты по неверным данным и потом пересчитывали, непрозрачно делили задачи, пока не синхронизировались. Мы могли бы избежать этого, если бы выбрали одного ответственного или более четко распределили задачи между друг другом.

Выводы и напутствия

Несмотря на сложности, мы считаем запуск опроса удовлетворенности успешным — и не только потому, что получили высокий индекс. Мы собрали много данных от пользователей, нашли инсайты, подтвердили уже существующие гипотезы и сформировали новые для дальнейшего исследования. Кроме этого, мы получили новую CX-метрику, разработали и проверили процесс подготовки и проведения регулярного опроса. А еще получили много приятных комментариев от наших клиентов.

Вот пять пунктов, которые я рекомендую учесть, если вы готовитесь к запуску опроса.

1. Подумайте над выборкой: четко сформулируйте / определите, кого вы хотите опросить, а кого не хотите затрагивать опросом.
2. Составьте формулировки вопросов и убедитесь, что они однозначно трактуются. От этого зависит интерпретация полученных результатов и их дальнейший анализ. Вопросы должны дополнять друг друга, покрывать разные ракурсы проблемы или интересующей вас темы и мотивировать пользователей оставить обратную связь.
3. Выберите инструмент для проведения опроса и канал его распространения. Если запускаете опрос впервые, сначала протестируйте сценарий.
4. Оцените загруженность пользователя. Подумайте, не будут ли действовать другие опросы в момент запуска нового. Иначе есть риск замучить клиентов бесконечными исследованиями. Эта проблема актуальна для B2B-сервисов, где аудитория ограничена.
5. Четко распределите задачи по подготовке, запуску опроса и анализу результатов.

P.S. Пока я писала эту статью, в компании уже прошел второй и последний в 2024 году опрос удовлетворенности. В нем учли все нюансы и ошибки, о которых мы узнали после первого исследования. Так что могу уверенно сказать: практики из этой статьи будут полезны. 🙂