Они «били нам по щам», а мы получали удовольствие. История про сотни баг-репортов и IT-BDSM

В конце ноября состоялся первый релиз нашей платформы для подготовки к собеседованиям IT Resume. И знаете с чего он начался? Правильно — нас сразу купил Гугл на нас сошла лавина баг-репортов. Если точно — почти несколько сотен за неполных 2 дня! Но это было лучшее, что с нами произошло за долгое время! 🙂

Однако обо всем по порядку.

Пролог

Для начала накидаем немного контекста, чтобы вы могли лучше прочувствовать наше положение и понять наши мотивации. 

1. Мы начали пилить платформу для подготовки к собеседованиям в апреле. В ноябре состоялся релиз. За это время были разработаны дизайны, написан фронт, развернуто полноценное API и создан обработчик кода со всеми наворотами типа лексических анализаторов. 

Уточнение: Фронт был сначала написан, а потом еще раз переписан на другом фреймворке. Классика.

2. Все это делалось силами нескольких программистов. Команда была небольшая: бекендер на фултайм + фронтендер и дизайнер на парт-тайм. 

3. 200+ задач и тестов разрабатывались силой все той же команды. Для каждой задачи нужно было прописать формулировку, подсказки, решения и оформить юнит-тесты. 

Лирическое отступление: сначала казалось, что работы по созданию задач будет немного. Оказалось много. 

4. Мы решили не тратиться на рекламу. Собирались привлекать пользователей на платформу из своих социальных сетей (кстати, будем рады вас видеть: ВКонтакте Телеграм Инстаграм).

Итак, хватит контекста. Перейдем к сути дела. 

Бета-тестирование

На следующий день после релиза мы опубликовали пост в своих социальных сетях, что мы ищем бета-тестеров. Условия были такие — мы даем премиум-доступ к платформе, а люди сообщают нам обо всех найденных багах. 

Изначально мы рассчитывали на 20 бета-тестеров — на наш взгляд этого было достаточно. Плюс нам казалось, что особо никто и не откликнется. 

Знаете, за сколько у нас набралось 20 желающих? Меньше чем за 10 минут! Сказать, что мы были в шоке — ничего не сказать. Мы только опубликовали пост и нас сразу засыпали заявками.

В итоге мы расширили квоту и суммарно получилось около 30-35 человек. Хотя заявок было в разы больше — но некоторым пришлось отказать. Простите, если вы это читаете 🙂

Итак, бета-тест был запущен и тут началось…

Поток баг-репортов

Буквально в первый день на нас сошла манна небесная лавина из фидбека. Пользователи писали в телеграм, слали письма на почту, открывали ишьюсы на гитхабе, писали комментарии в социальных сетях — словом, завалило под самое не балуйся. 

После такого могла быть только одна реакция — воспаление синдрома самозванца радость! 

Нет, в первый момент, конечно, мы немного не поняли прикола. Мы же столько работали — откуда столько косяков? Но потом мы поняли самую главную мысль:

Каждый такой репорт = предотвращенное недовольство будущих пользователей.

Наши бета-тестеры — потенциальные пользователи нашей платформы. Они находили то, что им не нравится, что им неудобно и что их раздражает. Каждый такой косяк — минус к нашим конверсиям, минус к нашему retention и LTV в будущем. 

Если мы сможем отработать все эти вопросы быстро, то у будущих пользователей таких проблем уже не будет.

Кроме того — буквально за несколько часов мы получили фидбек, за который нам пришлось бы платить немалые деньги тестировщикам + мы сэкономили кучу времени. Как можно этому не радоваться?!

Именно с такими мыслями мы воспряли духом и всей командой отправились пить смузи сортировать и чинить все найденные косяки. 

А что по багам?

Выглядит так, как будто мы жесткие косяпоры, да? Ребята выкатили платформу, а там сразу нашлось несколько сотен багов.

На самом деле нет. При детальном рассмотрении каждой заявки были выявлены такие категории:

1. Явные баги. Например, на некоторых устройствах «разносило» блок с кодом до размеров матушки-тайги. Таких косяков было минимально. 

2. Ошибки в материалах. Это могли быть нечеткие формулировки, опечатки, косячные юнит-тесты и все в таком духе. Таких репортов было довольно много — немудрено, оформить и выверить 200+ задач и тестов — не так просто. 

3. Пожелания и рекомендации. Пользователи просто делились мнением — что им неудобно, что им хотелось бы видеть, чего им не хватает. Такого было довольно много и это супер ценно! Если каждая компания бы получала столько полезной обратной связи — мы жили бы в волшебном мире 🙂

В процентном соотношении это выглядело примерно так:

Многие репорты, кстати, дублировались. За ними мы следили особенно пристально — их фиксили в первую очередь. 

Вот несколько примеров того, что писали нам бета-тестеры в эти дни:

Короче говоря, полезного было масса. Мы были очень рады — это была реальная возможность произвести работу над ошибками и сформировать понимание: какой функционал наши пользователи хотят видеть в первую очередь.

Немного сахара

Давайте под конец насыпем немного соли сахара на рану. Конечно, полезный фидбек был, но было также очень много позитивной обратной связи. Вы не представляете (а может и представляете), как это мотивирует, особенно на старте проекта!

Желаем, чтобы каждому из вас прилетали такие отзывы в вашей работе:

Эпилог

Ну что же, наш рассказ подошел к концу. Это не какой-то туториал или статья с «секретным соусом». Это просто рассказ о том, как в череде рабочих процессов ребятам прилетело по шапке и как они обернули эту ситуацию в свою пользу, а не просто расстроились и почувствовали себя дилетантами (как, к сожалению, часто бывает). 

Мораль сей басни такова:

Придерживайтесь такого же принципа и в жизни. Оборачивайте сложные ситуации в свою пользу и вы всегда будете на коне. 

И напоследок:

Никто тебе не друг, никто тебе не враг, но каждый человек тебе великий Учитель. Конкордия Антарова, Две Жизни