Как «Медуза» организовала бета-тест нового приложения с читателями и не облажалась

У «Медузы» нет QA-отдела, а прицельно тестированием новых продуктов занимается один человек (и это не основная его работа). Часто мы просим других сотрудников поучаствовать: у всех разные телефоны и привычки, это сильно помогает бороться с «замыленным глазом». Но даже в этом случае тестеров у нас не больше 20.

Наше новое приложение (оно написано с нуля на Flutter, об этом мы подробно рассказывали здесь) тестировали больше 1500 человек. В этой статье мы расскажем, как это происходило.

Осенью 2019 года стало очевидно, что старому приложению становится все хуже, а новое пока не готово. Мы разместили в старом приложении объявление: «Вы могли заметить, что все работает не очень хорошо, но это потому, что мы бросили все силы на разработку новой версии, скоро покажем». И под этим же объявлением мы повесили простую форму обратной связи, в которой читатель мог предложить какую-то интересную функцию (то, что, на его взгляд, обязательно должно быть в новом приложении), а также оставить свою почту, если он хочет поучаствовать в тестировании.

Мы получили 3,5 тысячи заявок (конечно, реальных тестеров было сильно меньше), для первого раза очень хороший результат. Чтобы тестеры могли сообщать нам о багах, нужно было встроить в приложение удобную систему обратной связи. Изучив несколько вариантов, мы остановились на HelpScout: в главном меню приложения появилась отдельная кнопка с иконкой бета-версии, по тапу на которую открывалась форма отправки баг-репорта с возможностью прикрепить скриншот или видео.

В марте 2020 года мы наконец были готовы показать новое приложение людям вне редакции — и тестирование началось. Мы разослали всем, кто оставил свою почту, письма с инструкциями по установке бета-версии. На iOS с этим все просто: все делается через приложение TestFlight. С Google Play Store, казалось бы, должно быть еще проще (у вас просто появляется возможность скачать тестовую версию), но сразу после запуска теста оказалось, что многие наши читатели не могут получить доступ к приложению — пришлось экстренно переводить их на Firebase App Tester, альтернативное решение от Google.

Из-за проблем с Play Store мы начинали с сильным перевесом в пользу iOS, на которую приходилось больше 70% устройств тестеров. Чуть позже количество пользователей выровнялось до 55% на iOS и 45% на Android. Причем из трех с половиной тысяч заявок непосредственно до тестирования добрались больше полутора тысяч устройств — невероятно много.

Почти половина тестеров, около 800 человек, заходили в приложение каждый день. За первые полтора месяца тестирования средний пользователь открыл приложение 55 раз, прочитал 111 материалов, получил 148 пуш-уведомлений (из них открыл 37) и поделился прочитанным 7 раз.

Мы сразу решили, что будем отвечать на баг-репорты, благо HelpScout позволяет отправлять персональные имейлы тестерам. Приготовили список писем по разным случаям, отредактировали их, чтобы они не выглядели шаблонными, и начали отвечать. Однако довольно быстро поняли, что отвечать на каждый репорт — значит раздражать самых активных тестеров. Но и молчать неправильно — так будет непонятно, доходят ли до нас на самом деле их сообщения.

Так мы пришли к идее закрытого телеграм-чата для наших тестеров — это было бы место, где мы бы быстро давали обратную связь по найденным багам, а заодно просили тестеров целенаправленно что-то проверить. В обычном чате сообщения от администраторов с вопросами и просьбами быстро бы тонули среди сообщений остальных участников, поэтому мы завели телеграм-канал с привязанным к нему чатом. Сам канал закрыт, попасть в него можно только по прямой ссылке; ее мы вставили в специальный анонс, который был виден в бета-версии приложения. Всех, кто в него перешел, встречало закрепленное сообщение с правилами чата. А дальше, если тестер согласен с ними, он нажимал кнопку «Обсудить» и попадал в сам чат.

Для простоты обработки сообщений мы ввели систему тегов: к сообщению с баг-репортом надо было приложить тег #bugs, а к сообщению с предложением — #idea (были еще #discuss для обсуждения каких-то функций и #question для вопросов к сотрудникам «Медузы»).

Что получилось? В чат добавились больше 200 человек, самых активных наших тестеров. Они сообщали нам о багах и участвовали в стресс-тестах: проверили, как работают онлайн-трансляции, плеер подкастов и т. д.

Что мы поняли? Наш опыт с чатом тестеров не просто удобный (и дешевый, скажем прямо) способ проверить приложение на ошибки. Самое важное, что люди, которые прошли через все этапы — заявка на тестирование, инструкция в письме, установка бета-версии, переход в телеграм-канал и чат, — оказывались самыми дотошными, последовательными и заинтересованными в развитии приложения. И с ними можно и нужно обсуждать функции, в работе которых мы сами сомневались.

Пожалуй, самый показательный пример: мы придумали для нового приложения специальный экран с коллекциями материалов на разные темы. Нам казалось, что в нем все логично: каждая коллекция собирается вручную, висит на экране несколько дней, а затем на ее место приходят новые. После обсуждения с тестерами мы поменяли концепцию и даже дизайн: внутри появились наши стандартные рубрики, собираемые автоматически, а в тех, которые собираются редакторами, добавились «постоянные» коллекции с рекомендациями фильмов, книг и музыки.

Мы рассчитывали, что наш чат останется чисто техническим и очень функциональным, поэтому указали в правилах, что редакционную политику и материалы «Медузы» не обсуждаем (для этого можно написать в редакцию по одному из множества каналов). И вообще, мы много внимания уделили правилам, и, кажется, не зря: за все время существования чата нам не пришлось забанить ни одного участника.

Ближе к концу периода тестирования мы провели опрос наших участников. Результаты оказались для нас неожиданными: так, примерно для половины опрошенных «Медуза» оказалась первым приложением, которое они тестируют. Очень мало кто профессионально занимается QA, да и сотрудников медиа оказалось всего 9%.

В середине мая наше приложение наконец дошло до релиза. Но чат — по решению самих тестеров — на этом не закрылся. Мы продолжаем выпускать тестовые билды за пару дней до публичного релиза, а также просим тестеров помочь разобраться с проблемами, на которые активно жалуются другие пользователи приложения. Ну а через пару дней после релиза мы устроили с ними онлайн-вечеринку: сотрудники «Медузы», которые придумывали и делали новое приложение, в прямом эфире ответили на любые вопросы тестеров.