Как мы организовали тест-сессию в продукте: пилот формата

Я Лиза, UX-исследователь в Экстерне. Не так давно я организовывала тест-сессию в нашем продукте. В статье расскажу, что мы делали в рамках пилота такого формата исследования, с какими проблемами столкнулись и какие преимущества выделили.

Дизайнеры в Контуре уже пытаются возродить формат тест-сессий для исследований. Поэтому в нашем b2b-продукте мы тоже решили попробовать впервые провести его в этом году.

Опыт получился интересным — мы отловили проблемы интерфейса, как и хотели. Но еще больше поняли про сам формат исследования.

Тест-сессии обычно описывают как быстрый способ проверить интерфейс с коллегами — без рекрута пользователей и полноценного цикла исследования. Но в итоге нам показалось, что всё немного сложнее.

Что такое тест-сессия

Если коротко, тест-сессия — это упрощенный юзабилити-тест, проверка пользовательского сценария внутри команды.

Вместо реальных пользователей задачу проходят сотрудники компании. Это могут быть дизайнеры, аналитики, продакты, эксперты предметной области и др.

Как и в обычном юзабилити-тесте, участник пытается пройти сценарий и комментирует свои действия. Модератор задает вопросы при необходимости. Команда наблюдает и фиксирует возникающие сложности.

Главные преимущества формата тест-сессии, которые обычно называют:

• Не нужен рекрут;

• Быстрее и дешевле обычного юзабилити-теста;

• Помогает взглянуть на привычный интерфейс свежим взглядом и найти проблемы;

• Вовлекает команду в обсуждение пользовательских сценариев на практике.

Это НЕ замена реальным исследованиям с пользователями, но способ быстрой проверки решения — помогает понять, идём ли в исследование дальше.

Звучит довольно привлекательно. Поэтому нам захотелось проверить, как этот инструмент работает в реальном B2B-контексте.

Что мы тестировали

Для пилота выбрали 2 сценария. Оба важные для наших пользователей, но давно не были объектом отдельных UX-исследований.

Провели 3 тест-сессии. В них участвовали:

• Эксперт предметной области;

• Коллега с небольшим опытом работы со сценарием;

• Дизайнер.

Наша задача была простой: заново посмотреть на сценарии и понять, насколько формат поможет найти проблемы.

Что получилось найти

Разные роли наших участников-коллег принесли дополнительную ценность — получили инсайты разных уровней:

• Эксперт рассказал о реальных сценариях пользователей, с которыми сталкивается в работе — но мы не думали о них в продукте глубоко. Получилось что-то среднее между проверкой интерфейса и предметной экспертизой.

• Дизайнер обращала внимание на внешний вид страниц в продукте.

В целом, на уровне интерфейса результаты были объемными, но ожидаемыми.
Мы обнаружили:

• Несколько проблем навигации;

• Сложности поиска нужных действий;

• Барьеры для новых пользователей;

• Технические ограничения тестового окружения.

При этом часть проблем уже была известна команде.

Но одно дело — знать о существовании проблемы.
И совсем другое — в реальном времени видеть, как несколько человек подряд сталкиваются с ней во время выполнения задачи.

Здесь тест-сессия хорошо помогла сделать существующие проблемы более заметными для команды и подсветить их значимость.

Тест-сессия оказалась не такой быстрой

До старта проекта мы воспринимали тест-сессию как довольно лёгкий и быстрый метод. После проведения отношение изменилось.

Основное время пришлось на организацию.
Здесь мы:

1. Подбирали сценарии.

2. Искали заинтересованного стейкхолдера — без него результаты бы легли в стол.

3. Искали участников-коллег. Объясняли, зачем им вообще тратить на это рабочее время и двигать свои задачки — доносили ценность формата.

4. Согласовывали сценарии — здесь никуда без п.1. Стейкхолдер подсветил опорные точки и расставил приоритеты. А после модератор взял время на погружение и самостоятельное прохождение сценария.

5. Готовили тестовую среду: настраивали доступы, подбирали нужные документы и пр.

6. Объясняли участникам до теста, как им настроить тестовую среду.

7. Назначали встречи — здесь сложности сбора большой распределенной команды (отпуска и больничные, высокая загрузка).

Для подготовки нужно закладывать время, особенно в больших и сложных B2B-продуктах. Но сама встреча с респондентами проходит действительно быстро.

Вывод: тест-сессию можно быстро провести, но её предварительная организация требует времени.

В чём реальная ценность тест-сессии?

Перед началом работы мы сформулировали основную ценность формата — поиск проблем интерфейса.

После пилота ответ хочется дополнить — это ещё и возможность объединить команду вокруг одного пользовательского сценария, обсудить его с разным опытом и контекстом.

Будем ли использовать этот формат дальше?

Да, но c оговорками.

Мы явно увидели ограничения тест-сессии: участники остаются сотрудниками компании, знают продукт лучше пользователей и не находятся в реальном контексте использования. Поэтому метод не ответит на вопросы о потребностях, мотивации или реальном поведении пользователей.

Но он хорошо работает как способ быстро посмотреть на сценарий заново, актуализировать знания команды и понять, где стоит копать глубже.

Для нас тест-сессия оказалась ещё и классным инструментом совместного мозгоштурма над пользовательскими сценариями.

Больше интересного про UX-исследования в телеграм-канале «Сдоба»🥨