Anna: готовим отчет о тестировании API, чтобы все были довольны

Разрабатываем тестовый скрипт, запускам и получаем классный отчет с результатами

Всем привет. Как часто вам нужно разрабатывать сотни авто тестов и предоставлять заинтересованным лицам отчеты с результатами? Лично мне очень часто. В этом мне помогает Anna.

Зачем это нужно

Я работаю QA инженером в крупной IT компании. Мы предоставляем тестирование как сервис. К нам обращаются команды, которые разрабатывают свой продукт за автоматизацией ручных тестов. Как правило, это UI или API тесты. Многие не понимают, что такое автоматизация тестов и приходится каждый раз объяснять, что к чему. Самое главное в любом тестировании это результаты тестирования. Все будет отлично, если они представлены в удобном и понятном виде. Исторически сложилось, что мы используем для отчетов Allure Framework. Наши клиенты привыкли видеть результаты в таком виде.

Моя команда пишет тестовые скрипты на Python. Мы первая команда в нашей компании, которая внедрила данный язык в тестирование. Я всегда хотел делать больше и затрачивать на это как можно меньше времени. В Python отличные встроенные и пользовательские библиотеки, но они не удовлетворяли наши запросы в полной мере. Приходилось импортировать кучу библиотек, писать длинный код и тратить на написание много времени. Время разработки и поддержки — главные критерий, который я установил. Для этого была разработана Anna.

Как установить

Для установки выполнить следующую команду:

python -m pip install anna-api-test-framework

Как использовать

Для начала импортируем библиотеку

from anna import Actions, Report, Asserts

Для использования предоставляется три класса.

• Actions — содержит методы для выполнения http запросов. Под капотом спрятана библиотека requests. Все данные о запросах и отчетах автоматически добавляются в отчет о тестировании.

action = Action(url=url) response = action.request(method=method)

• Report — содержит методы для добавления необходимых данных в отчет: шаги, названия тестов, группировка тестов, ссылки, описание и т.п.

@Report.epic('Simple tests') @Report.story('Tests google') @Report.testcase('https://www.google.com', 'Google') @Report.link('https://www.google.com', 'Just another link') class TestExample:      @Report.title('Simple test google')     @Report.severity('CRITICAL')     def test_simple_request(self):         url = 'https://google.com'         method = 'GET'         want = 200          Report.description(url=url, method=method, other='other information')

• Asserts — содержит методы для проверки условий тестов.

with Report.step('Checking response'):     Assert.compare(         variable_first=want,         comparison_sign='==',         variable_second=got,         text_error='Response status code is not equal to expected'     )

Как запустить тесты

Для запуска используем следующую команду:

python -m pytest --alluredir="./results"

Мы используем для своих тестов библиотеку pytest. Данной командой мы запускам все тесты из текущей директории и указываем куда сохранять данные с результатами тестов. В данном случае сохраняем все в директорию results

Как сформировать отчет

Для формирования и отображения отчета необходимо установить утилиту Allure.

Далее используем команду для формирования отчета из полученных тестовых данных в директории results:

allure generate "./results" -c -o "./report"

Данная команда формирует отчет в директорию report

Как открыть отчет

Выполняем следующую команду:

allure open "./report"

Команда запускает локальный сервер через который мы получаем доступ к отчету из директории report в своем браузере.

Данный отчет сформирован на основе следующего тестового скрипта:

from anna import Action, Report, Assert  # добавляем всю необходимую информацию для набора тестов, а также # группируем их @Report.epic('Simple tests') @Report.story('Tests google') @Report.testcase('https://www.google.com', 'Google') @Report.link('https://www.google.com', 'Jast another link') class TestExample:      # тестовый метод. Задаем ему имя и важность     @Report.title('Simple test google')     @Report.severity('CRITICAL')     def test_simple_request(self):         url = 'https://google.com'         method = 'GET'         want = 200         # добавляем описание в отчет со всей необходимой         # информацией         Report.description(url=url, method=method, other='other information')         # создаем новый объект класса Action         action = Action(url=url)         # выполняем запрос         response = action.request(method=method)         # получаем код ответа         got = response.status_code         # вставляем шаг теста в отчет         with Report.step('Checking response'):             # проверяем код ответа             Assert.compare(                 variable_first=want,                 comparison_sign='==',                 variable_second=got,                 text_error='Response status code is not equal to expected'             )

Итог

Данный инструмент ускоряет разработку тестовых скриптов для API тестов и стандартизирует вид тестового отчета на всех проектах. Наши тесты гоняются в CI/CD (Jenkins) и запускаются автоматически по событиям. Остается только смотреть отчеты и поддерживать тесты в актуальном состоянии.

Ссылка на репозиторий github

P.S.

Спасибо за ваше внимание. Буду рад услышать ваши мнения, предложения и замечания