Как мы организовали бета-тест для нового BI и набрали 57 доработок

Привет, Хабр! На связи Саша Чебанов, Product Owner компании Modus.

Аудитория нашего основного продукта – это холдинги сегмента enterprise и госструктуры. Как я писал вот в этой статье, скоро у нас выходит продукт для совершенно другого сегмента – для малого и среднего бизнеса, с которым мы никогда не работали.

И нам было важно, во-первых, проверить на практике функционал продукта, во-вторых – посмотреть, как поведут себя пользователи из незнакомого сегмента.

Мы решили провести бета-тест: набрать хорошую команду из

Желающие просто оставляли реакцию на пост или писали в ЛС маркетологу, и он проводил короткое квалификационное интервью, чтобы понять, что респондент: а) не работает в конкурирующей компании, б) принадлежит к ЦА. Дальше маркетолог рассказывал, как будет проходить тестирование и какой бонус получит участник (об этом ниже). Если все устраивало обе стороны, то участник бета-теста добавлялся в специальный чат, который, к слову, есть и сейчас, и там периодически ребята обмениваются мнениями, а мы скидываем информацию о ходе разработки.

Когда целевое количество участников было набрано, а все инструкции готовы, мы приступили к тестированию. Разослали всем участникам логин и пароль от системы (т.к. система облачная, разворачивать ничего не нужно), необходимые материалы и стартовали.

Механика тестирования

Наш основной запрос был на нагрузочно-техническое тестирование, на UX/UI интерфейсов и, в целом, на впечатление от продукта. Т.к. многие пользователи ведут учет в таблицах, мы решили тестировать данные, загруженные через файл Excel.

Поэтому мы подготовили шаблон набора данных и расширенную инструкцию со скриншотами каждого шага, которая детально описывала путь пользователя в системе. Еще разработали общедоступную таблицу для бэклога критичных багов и шаблон индивидуального отчета в GoogleSheets, которые по разделам совпадал с разделами инструкции.

Пользователям предлагалось пройти по всему циклу работы с данными: от момента входа до построения дашборда с визуализациями и применением фильтров по загруженному набору данных.

В качестве бонуса после тестирования мы предложили пользователям бесплатно пользоваться аналитической системой (многие искали замену).

На тестирование мы отвели 2 недели, затем еще пару раз переносили срок. В результате ушло 3 полные недели, но собрали практически 100% отчетов.

Немного статистики

Мы получили около 50 откликов, из них собрали фокусную группу из 20 человек. Больше, в целом, нам не нужно было для первого тестирования.

В этой группе были:

 — собственники и руководители малого и среднего бизнеса (ателье, вендинговая компания, оборудование для ритейла, несколько IT-компаний и т.п.);

 — профессиональные аналитики-фрилансеры;

—   партнеры и эксперты из сообщества (в том числе, из «Кругов Громова», за что им большое «спасибо»).

При этом, все тестеры никогда не пользовались системой Modus (интерфейс облачной версии похож на on-premisе) и многие впервые вообще пользовались BI-системой. Это важно, чтобы отследить, понятен ли интерфейс или нет.

Результаты

Мы забрали в бэклог 57 доработок, из них багов всего 2.

В основном, доработки касались интерфейса (поменять дизайн конкретной формы, передвинуть кнопку и т.п.), изменения логики управления версткой (т.к. система облачная, предполагается, что ею можно пользоваться и с мобильных устройств) и доработки фильтров. Замечаний по скорости работы не было — в целом, данные грузились 2 секунды, а полностью настроенный дашборд с 7 визуализациями – не больше 4 секунд.

При этом, некоторые доработки уже были в нашем бэклоге. Полученные замечания приоритизировали по 4 параметрам:

• 1 порядок – баги, доработки функционала, которые уже были в нашем бэклоге до тестирования, доработки интерфейса, связанные с функционалом и пониманием логики для пользователя (например, дизайн формы выбора файла для загрузки);

• 2 порядок – UX/UI: улучшение расположения элементов, улучшение логики, настройки отчетов и т.д. Сюда же отнесли замечания, которые были у нескольких пользователей.

• 3 порядок – некритичные предложения по улучшению дизайна;

• 4 порядок – пожелания по разработке дополнительного функционала, которого нет в бэклоге.

Задачи из первого порядка планируем выполнить до общего старта бета-версии в октябре 2023 года.

Дальше спринтами будем выкатывать релизы по задачам 2 и 3 порядка, параллельно будем брать по 1-2 задачам 4-го приоритета.

Нас очень порадовало, что, в целом, продукт уже в MVP получил положительные отзывы – мы явно «попали» в целевую аудиторию и по функционалу, и по архитектуре аналитической системы. Значит, после доработок продукт выйдет на рынок.