Как использовать TestRail для регресса?

В этой статье расскажу о функционале TestRail, благодаря которому процесс регресса будет прозрачен и понятен для всей команды + как связать это с Jira.

Предполагается, что вы уже работаете в TestRail и у вас уже описан там некоторый функционал. Например, логин/регистрация, покупка, настройки аккаунта. Также необходимо заранее связать TestRail и Jira. Делается это быстро и просто.

Итак, вам необходимо провести регресс перед запланированным релизом. И проходить будем по всему описанному функционалу.

1. Открываем необходимый проект, переходим в раздел Milestones.

2. Нажимаем кнопку “Add Milestone“ в правой панели.

3. Даем ей название нашей цели (например, Release 05/02/2023). Это может быть релиз или тестирование конкретной версии продукта.

4. В поле References указываем номер задачи в Jira, в которой хотим наблюдать результаты тестирования.

5. Здесь же можно назначить дату старта (сегодня или планируемый день старта).

6. Нажимаем кнопку “Add Milestone“.

7. Теперь у нас один активный Milestone.

8. Открываем раздел Test Runs & Results.

9. Нажимаем “Add Test Plan“ в правой панели. Почему не Test Run? Потому что 1 тест ран создается для 1 тест сьюта. Если сьютов несколько, соответственно тест ранов тоже, и объединяет их именно тест план.

10. Называем тест план, как действие к достижению поставленной цели (релиз). Например, Regress 01/02/2023 — дата фактического начала тест-плана.

11. Далее выбираем наш недавно созданный Milestone.

12. В поле References также можно указать номер задачи в Jira, позже увидим разницу.

13. Нажимаем кнопку “Add Test Suite“ в правой панели.

14. Выбираем необходимые разделы

15. Рядом с каждым разделом можно:

    15.1. Нажать кнопку “select cases“ для выборки нужный кейсов.

15.2. Нажать кнопку “Assigned To:» и выбрать исполнителя (кто будет тестировать этот раздел).

15.3. Нажать кнопку “Description & References“ для связи результата прогона с задачей на релиз (еще более глубокое отображение результатов, тоже увидим разницу).

15.4. Нажать кнопку “Configurations“ и выбрать нужные параметры. Удобно использовать, когда продукт необходимо протестировать на разных ОС, браузерах и т.д. (всё добавляется самостоятельно).

16. Нажимаем “Add Test Plan».

17. Теперь у нас есть тест план с несколькими тест ранами внутри.

Статусы в тест ране

1. Статус Passed — успешное прохождение теста.

2. Статус Blocked — невозможно сейчас протестировать сценарий по какой-либо причине.

3. Статус Failed — тест провален.

4. Статус Retest — тестировщику необходимо перепроверить тест или это был Failed тест, который успешно пофиксили.

Отображение результатов в связанной задаче

Напоминаю, необходимо заранее связать Jira и TestRail.

1. Открываем задачу в Jira

2. Нажимаем … → TestRail: Results

3. В появившемся разделе мы видим меню отображения.

   3.1. Если выбрать отображение по Milestones, видим общую диаграмму:

3.2. Если выбрать отображение по Plans, видим общую диаграмму и отображение по сьютам:

3.3. Если выбрать отображение по Runs, видим диаграмму по каждому сьюту и статусы кейсов внутри них:

После релиза

1. Открываем редактирование нашего Milestone.

2. Нажимаем галочку This milestone is completed. Можно также добавить дату окончания активности Milestone.

3. Сохраняем.

4. Открываем наш тест план (не редактирование).

5. Нажимаем на иконку замка́. После этого тест-план перестает быть активным, внести правки невозможно.

Выбирайте удобное для вашей команды отображение и сделайте результат регресса (да и не только) красивым и прозрачным.