Ускоряем работу с тестовой документацией. Экспорт данных из Allure-отчета в Confluence

Для того, чтобы ускорить тестирование крупных приложений, как правило, проверки вручную сочетают с автотестами. После их прогона QA или SDET-специалисты разбирают успешные и «упавшие» тесты – их нужно проверить вручную и зафиксировать результаты, например, в Confluence.

Рассмотрим на примере, как можно ускорить экспорт этих данных, если вы работаете с некоммерческой версией Allure Framework. При использовании Allure-EE такие доработки не нужны – информацию по ручному прохождению кейсов можно хранить в самих отчетах.

В описанном ниже кейсе мы работали с Allure, поскольку этот инструмент использовался и на других подпроектах заказчика. При этом шапка таблицы создавалась из шаблона, а данные для каждого автотеста приходилось вручную копировать из Allure-отчета. При большом количестве упавших автотестов этот процесс становился трудоемким и занимал достаточно много времени. Мы решили автоматизировать его и разработали утилиту, с помощью которой создавалась таблица, уже заполненная необходимыми данными из Allure-отчета.

Задачи, которые нам требовалось решить:

• Найти и структурировать необходимые данные из json-файлов, которые создает Allure.

• Сгенерировать html-код таблицы, используя полученные ранее данные.

• Создать таблицу в Confluence с помощью POST-запроса, в теле которого передать html-код таблицы.

Получение данных из json-файлов

Json-файлы с которыми мы будем работать, находятся в каталоге allure-report\data\test-cases

Для каждого автотеста создается отдельный json-файл с информацией по его прохождению. Это достаточно большой файл, который содержит все шаги автотеста, поэтому в статье мы не будем приводить его полностью. Нас интересуют такие параметры:

"status" : "failed”, "name" : "Test_0001",  {     "name" : "epic",     "value" : "iOS" },  {     "name" : "feature",     "value" : "Авторизация" },  {     "name" : "story",     "value" : "Превышение попыток" }

Эти данные будем размещать во 2 — 5 колонках таблицы, используя определенные цвета для заливки фона ячеек. Статус автотеста может иметь несколько значений: «failed» (выделяем красным), «unknown» (фиолетовый), «broken» (желтый), «skipped» (серый).

Создадим два класса с моделями. Для генерации моделей удобно использовать IntelliJ IDEA плагин RoboPOJOGenerator. Также обратимся к Lombok, чтобы не создавать методы геттеры.

import com.google.gson.annotations.SerializedName; import lombok.Getter;  import java.util.List;  @Getter public class TestCase {    private String epic;    private String feature;    private String story;     @SerializedName("name")    private String name;     @SerializedName("status")    private String status;     @SerializedName("labels")    private List<LabelsItem> labels;     public void initLabels() {        if (labels != null) {            for (LabelsItem labelsItem : labels) {                switch (labelsItem.getName()) {                    case "epic" : epic = labelsItem.getValue();                        break;                    case "feature" : feature = labelsItem.getValue();                        break;                    case "story" : story = labelsItem.getValue();                }            }        }    } }   import com.google.gson.annotations.SerializedName; import lombok.Getter;  @Getter public class LabelsItem {    @SerializedName("name")   private String name;    @SerializedName("value")   private String value; }

Создадим метод, который будет получать эти параметры из json-файла. Преобразовывать json в класс модели будем при помощи Gson.

/** * Получает данные из json файла * * @param path путь к папке с файлами * @return данные из json файла */ public static TestCase readTestCasesJson(String path) {    try (Stream<String> stream = Files.lines(Paths.get(path))) {        String text = stream.reduce("", String::concat);        return new Gson().fromJson(text, TestCase.class);    } catch (IOException e) {        throw new RuntimeException(e.getMessage());    } }

Для получения списка всех json-файлов воспользуемся следующим методом:

/** * Получает список названий файлов в папке * * @param path путь к папке с файлами * @return список названий файлов * @throws IOException ошибка доступа к данным */ public static List<Path> getFilesInFolder(String path) throws IOException {    return Files.walk(Paths.get(path))            .filter(Files::isRegularFile)            .collect(Collectors.toList()); }

Теперь создадим метод, который будет собирать данные по всем упавшим тестам.

/** * Получает данные по всем упавшим * * @param paths путь к папке с файлами * @return список с данными по упавшим тестам */ public static List<TestCase> getTestCasesDataInFolder(List<Path> paths) {    List<TestCase> testCases = new ArrayList<>();    TestCase testCase;     for (Path path : paths) {        testCase = readTestCasesJson(path.toString());         if (!testCase.getStatus().equals("passed") ) {            testCase.initLabels();            testCases.add(testCase);        }    }     return testCases; }

Генерация таблицы

Далее создадим метод, который будет получать информацию по автотестам для всех статусов, сортировать их и создавать таблицу в формате html.

/**      * Формирует html код таблицы      *      * @param testCasesPath путь к папке с json файлами отчета      * @param link ссылка на прогон в CI      * @param name название прогона      * @return строка с html кодом таблицы      * @throws IOException ошибка доступа к данным      */     public static String createTableBody(String testCasesPath, String link, String name) throws IOException {          List<Path> filesPath = getFilesInFolder(testCasesPath);         List<TestCase> tests = getTestCasesDataInFolder(filesPath);          List<TestCase> notPassed = tests.stream()                 .sorted(Comparator.comparing(TestCase::getStatus)                         .thenComparing(TestCase::getEpic, nullsFirst(naturalOrder()))                         .thenComparing(TestCase::getFeature, nullsFirst(naturalOrder()))                         .thenComparing(TestCase::getStory, nullsFirst(naturalOrder()))                         .thenComparing(TestCase::getName, nullsFirst(naturalOrder())))                 .collect(Collectors.toList());          String lines = createTableLines(notPassed);          return (format(TABLE_HEADER, name, link, link) + lines + TABLE_TAIL).replace("\"", "\\\"");     }

Для формирования строк таблицы используем следующий метод:

/** * Формирует строки таблицы в Confluence * * @param testsCases список упавших тестов * @return html код строк таблицы */ private static String createTableLines(List<TestCase> testsCases) {    StringBuilder result = new StringBuilder();    String colorValue = "";     for (TestCase test : testsCases) {        colorValue = getColorValue(test.getStatus());         result.append(                    format(                            TABLE_LINE,                            ++testNumber,                            Strings.isNotNullAndNotEmpty(test.getEpic()) ? test.getEpic() : " ",                            Strings.isNotNullAndNotEmpty(test.getFeature()) ? test.getFeature() : " ",                            Strings.isNotNullAndNotEmpty(test.getStory()) ? test.getStory() : " ",                            colorValue,                            getColorName(test.getStatus()),                            colorValue,                            test.getName()                    )        );    }     return result.toString(); }

Для создания html-кода таблицы проще всего скопировать код из шаблона в Confluence и подставить нужные значения в определенные места с помощью функции format().

Сначала формируем хедер таблицы. После поочередно добавляем строки. Последней добавляем строку с тегами, закрывающими таблицу. Таким образом, мы сформируем html-код таблицы, который передадим в теле запроса.

Создание таблицы с помощью POST-запроса

Для создания таблицы с помощью запросов используем документацию Confluence REST API.

Для начала создадим в Confluence пустую страницу, которую будем использовать для нашего генератора таблиц. Так нам будет удобно отправлять запросы к странице с определенным id (пусть это будет 123456789), который можно посмотреть в адресе самой страницы https://***.ru/pages/viewpage.action?pageId=123456789

Для того чтобы сохранить новую таблицу, нам нужно узнать текущую версию страницы. Для этого используем GET запрос https://***.ru/rest/api/content/123456789?expand=version

Для работы с api используем RestAssured https://rest-assured.io/

И создадим метод для получения номера следующей версии страницы

/** * Получает версию таблицы в Confluence * * @param url адрес страницы * @param login логин от учетки Confluence * @param password пароль от учетки Confluence * @return номер следующей версии страницы */ public static int getNextPageVersion(String url, String login, String password) {    int result = RestAssured            .given()            .auth()            .preemptive()            .basic(login, password)            .get(url)            .jsonPath().get("version.number");     return result + 1; }

Для создания таблицы используем POST-запрос https://***.ru/rest/api/content/123456789/ с телом:

{     "body": {         "storage": {                         "value": "наш html код таблицы",             "representation": "storage"         }     },      "type": "page",     "title": "Генератор таблиц",      "version": {         "number": "100"         } }

Здесь мы указываем заголовок страницы, html-код самой таблицы и номер новой версии страницы. Так будет выглядеть метод:

/** * Создает таблицу в Confluence * * @param url адрес страницы * @param login логин от учетки Confluence * @param password пароль от учетки Confluence * @param table html код таблицы * @param title Название страницы * @param pageVersion Версия страницы */ public static void createConfluenceTable(String url, String login, String password, String table, String title, int pageVersion) {    String TABLE_BODY = "{\n" +            "    \"body\": {\n" +            "        \"storage\": {\n" +            "                        \"value\": \"%s\",\n" +            "            \"representation\": \"storage\"\n" +            "        }\n" +            "    },\n" +            "\n" +            "    \"type\": \"page\",\n" +            "    \"title\": \"%s\",\n" +            "\n" +            "    \"version\": {\n" +            "        \"number\": \"%s\"\n" +            "        }\n" +            "}";     RestAssured            .given()            .auth()            .preemptive()            .basic(login, password)            .header("Content-Type", "application/json")            .header("Connection", "keep-alive")            .body(format(TABLE_BODY, table, title, pageVersion))            .when()            .put(url)            .then()            .statusCode(200); }

И главный метод для выполнения программы:

import utils.RequestExecutor; import java.io.IOException; import java.util.Scanner;  import static utils.TableGenerator.createTableBody;  public class App {      public static void main(String[] args) throws IOException {          //Путь до папки с отчетом         String PATH = "C:\\Users\\User\\Desktop\\allure-report\\data\\test-cases";         //Название страницы в Confluence         String TITLE = "Генератор таблиц iOS";         //Название таблицы         String NAME = ": \"№1 Смоук 1.01\"";         //Ссылка на отчет в CI         String LINK = "Отчет в CI";         //Запрос для получения номера текущей версии страницы в Confluence         String URL_GET = "https://***.ru/rest/api/content/123456789?expand=version";         //Запрос для создания таблицы в Confluence         String URL_POST = "https://***.ru/rest/api/content/123456789/";          System.out.println("Для подключения к учетной записи Confluence");         Scanner in = new Scanner(System.in);          System.out.print("Введите логин: ");         String login = in.nextLine();          System.out.print("Введите пароль: ");         String password = in.nextLine();          RequestExecutor.createConfluenceTable(                 URL_POST,                 login,                 password,                 createTableBody(PATH, LINK, NAME),                 TITLE,                 RequestExecutor.getNextPageVersion(URL_GET, login, password)         );     } }

Заключение 

За счет того, что мы автоматизировали работу с отчетами, в нашем проекте удалось сделать тестирование быстрее и проще:

• QA-специалисты смогли оперативно приступать к разбору отчетов, не затрачивая время на ручное создание таблиц и перенос данных из Allure-отчета.

• Снизилась вероятность ошибок, которые могли возникнуть при ручном переносе данных из Allure-отчета в таблицу.

• Работать с данными в таблице стало удобнее. 

В рамках проекта тестирование проводили на трех платформах: web, Android и iOS. Генератором таблиц первоначально пользовались только мобильные команды, при этом веб-команда уже к следующему регрессу оценила их опыт и тоже начала пользоваться предложенным методом.

Полный код к статье доступен на GitHub.

Спасибо за внимание! Надеемся, что наш опыт был вам полезен.