Когда ИИ тестирует лучше тебя: ищу баги в OWASP Juice Shop с помощью Cypress и Workik

Я — Solution Architect с 19 годами в IT, часто помогаю новичкам в тестировании. Джуны обычно жалуются на вагон теории, отсутствие практики и примеров, где основные алогритмы собраны вместе. 

Я решил исправить эту проблему: взял OWASP Juice Shop — уязвимое веб-приложение, развернул его через Docker на http://135.181.239.135:4000 и протестировал с помощью ИИ.

В статье расскажу про:

• ИИ для запуска тест-кейсов: автоматизация без глубоких знаний программирования.

• Обучение ИИ-генерации тест-кейсов: как ИИ помогает придумывать сценарии.

• Написание баг-репортов с ИИ: создание чётких и технически точных отчётов.

• Эксплоративное тестирование с ИИ: поиск уязвимостей с подсказками ИИ.

• ИИ как учитель: фидбэк и обучение тестированию.

• Подводные камни ИИ для джунов: чего избегать, чтобы не плодить ошибки.

ИИ для запуска тест-кейсов

Притворюсь джуном-тестировщиком, который тестирует OWASP Juice Shop, развёрнутый в Docker. Задача — проверить форму логина, но навыков написания скриптов на Selenium или Playwright нет. Знаю, как проверять UI, кликать кнопки и заполнять формы, но кодировать это — проблема.

Для решения использую ИИ-инструмент Workik, который генерирует тесты на Cypress по текстовому описанию функциональности. Это упрощает автоматизацию: не нужно искать CSS-селекторы или разбираться с DOM вручную.

Шаг 1: Описываем задачу в Workik

Открываю https://workik.com/cypress-test-case-generator и в поле ввода описываю задачу:

Тестирование формы логина в OWASP Juice Shop на http://135.181.239.135:4000/#/login.
Проверить:

1. Успешный вход с email test@test.com и паролем password123.

2. Ошибка при неверном пароле wrongpass.

3. Ошибка при пустом email.

Жму «Generate», и Workik выдаёт код на Cypress. Вот пример (с техническими деталями):

// cypress/integration/login.spec.js  describe('Тестирование формы логина в OWASP Juice Shop', () => {      const baseUrl = 'http://135.181.239.135:4000/#/login';      beforeEach(() => {          cy.visit(baseUrl);          cy.intercept('POST', '/rest/user/login').as('loginRequest');      });      it('Успешный вход с валидными данными', () => {          cy.get('input[type="email"]').type('test@test.com');          cy.get('input[type="password"]').type('password123');          cy.get('button[type="submit"]').click();          cy.wait('@loginRequest').its('response').should('have.property', 'statusCode', 200);          cy.url().should('eq', 'http://135.181.239.135:4000/#/');          cy.get('.welcome-message').should('have.text', 'Welcome back!');      });      it('Ошибка при неверном пароле', () => {          cy.get('input[type="email"]').type('test@test.com');          cy.get('input[type="password"]').type('wrongpass');          cy.get('button[type="submit"]').click();          cy.wait('@loginRequest').its('response').should('have.property', 'statusCode', 401);          cy.get('.error-message').should('have.text', 'Invalid email or password');      });      it('Ошибка при пустом email', () => {          cy.get('input[type="password"]').type('password123');          cy.get('button[type="submit"]').click();          cy.get('.error-message').should('have.text', 'Email is required');          cy.get('input[type="email"]').should('have.class', 'ng-invalid');      });  });

Технические детали:

• Используется cy.intercept для перехвата POST-запроса на /rest/user/login, что позволяет проверять HTTP-ответы.

• Для успешного входа ожидается статус 200 и редирект на главную страницу.

• Для неверного пароля сервер возвращает 401 Unauthorized, а фронт отображает сообщение об ошибке.

• При пустом email валидация формы на фронте добавляет класс ng-invalid к полю, а сервер не вызывается.

Шаг 2: Настраиваем окружение и запускаем тесты

Устанавливаю Cypress в проекте:

mkdir juice-shop-tests  cd juice-shop-tests  npm init -y  npm install cypress --save-dev  npx cypress open

• URL запроса (/rest/user/login).

• HTTP-статус (например, 401 для неверного пароля).

• Тело ответа (например, {«error»: «Invalid email or password»}).

Пример ошибки: Тест на неверный пароль падает, если сервер возвращает не Invalid email or password, а Wrong credentials. Лог Cypress показывает:

GET /rest/user/login 401

Response: {«error»: «Wrong credentials»}

Исправляю ожидание:

cy.get(‘.error-message’).should(‘have.text’, ‘Wrong credentials’);

Шаг 3: Учимся на результатах

Добавляю тест на SQL-инъекцию через Workik, указав: «Проверить SQL-инъекцию с email ‘ OR ‘1’=’1 используя cypress. Получаю:

describe('SQL Injection Test on Login', () => {     it('should attempt SQL injection with email', () => {         // Переход к странице логина         cy.visit('http://135.181.239.135:4000/#/login');          // Ввод вредоносного email         cy.get('input[name="email"]').type("' OR '1'='1");          // Ввод случайного пароля         cy.get('input[name="password"]').type('any_password');          // Нажимаем на кнопку логина         cy.get('button').contains('Login').click();          // Ожидаем и проверяем наличие сообщения об успешном входе         cy.url().should('not.include', '/login'); // Проверка, что мы не на странице логина          // Проверка, что сообщение об успешном логине или изменение в интерфейсе происходит         cy.contains('Logged in').should('exist');     }); });

Технический анализ:

• Сервер корректно экранирует ввод, возвращая 401 вместо 200, что исключает возможность обхода авторизации.

• Отсутствие SQL-ошибок в ответе (SQL syntax error) подтверждает защиту от инъекций.

• Лог Cypress показывает, что запрос ушёл с экранированным телом: email=%27%20OR%20%271%27%3D%271.

Шаг 4: Интеграция в CI/CD

Добавляю тесты в GitHub Actions для автоматического прогона:

name: Cypress Tests  on:   push:     branches:       - main  # Укажите вашу основную ветку  jobs:   cypress-run:     runs-on: ubuntu-latest      steps:       # 1. Шаг: Проверка исходного кода       - name: Checkout code         uses: actions/checkout@v3        # 2. Шаг: Настройка Node.js       - name: Set up Node.js         uses: actions/setup-node@v3         with:           node-version: '16'        # 3. Шаг: Установка зависимостей       - name: Install dependencies         run: npm install        # 4. Шаг: Запуск тестов Cypress в headless-режиме       - name: Run Cypress tests         run: npx cypress run --browser chrome --headless         # Настройка сохранения артефактов         continue-on-error: true # Позволяет процессу завершаться, даже если тесты не проходят        # 5. Шаг: Сохранение артефактов (логи, скриншоты, видео)       - name: Upload Cypress artifacts         uses: actions/upload-artifact@v3         with:           name: cypress-artifacts           path: |             cypress/videos             cypress/screenshots             cypress/results

Технические детали:

• Cypress запускается в headless-режиме с Chrome.

• Логи и артефакты (скриншоты, видео) сохраняются в GitHub Actions для анализа.

Плюсы:

• Workik генерирует код, совместимый с CI/CD.

• Логи HTTP-запросов помогают дебагать серверные ошибки.

Подводные камни:

• Селекторы (например, .error-message) могут ломаться при редизайне фронта.

• Бесплатная версия Workik ограничивает количество генераций.

Учимся через ИИ-генерацию тест-кейсов

Форма логина кажется простой, но тестировщик должен проверять краевые случаи: пустые поля, SQL-инъекции, длинные строки. Workik помогает генерировать такие сценарии.

Шаг 1: Описываем задачу

В Workik пишу:

Workik выдаёт код:

describe('Login Form Tests', () => {     beforeEach(() => {         cy.visit('http://135.181.239.135:4000/#/login');  // Переход к странице логина     });      it('should successfully log in with valid credentials', () => {         cy.get('input[name="email"]').type('test@test.com');  // Ввод email         cy.get('input[name="password"]').type('password123');  // Ввод пароля         cy.get('button').contains('Login').click();  // Нажимаем вход          cy.url().should('not.include', '/login');  // Проверяем, что не на странице логина         cy.contains('Logged in').should('exist');  // Проверка на наличие сообщения о входе     });      it('should display error for incorrect password', () => {         cy.get('input[name="email"]').type('test@test.com');  // Ввод email         cy.get('input[name="password"]').type('wrongpass');  // Неверный пароль         cy.get('button').contains('Login').click();  // Нажимаем вход          cy.contains('Invalid email or password').should('exist');  // Проверка на наличие ошибки     });      it('should display error for empty email', () => {         cy.get('input[name="email"]').type('');  // Пустой email         cy.get('input[name="password"]').type('password123');  // Ввод пароля         cy.get('button').contains('Login').click();  // Нажимаем вход          cy.contains('Invalid email or password').should('exist');  // Проверка на наличие ошибки     });      it('should handle SQL injection attempt', () => {         cy.get('input[name="email"]').type("' OR '1'='1");  // SQL-инъекция         cy.get('input[name="password"]').type('any_password');  // Неверный пароль         cy.get('button').contains('Login').click();  // Нажимаем вход          cy.contains('Invalid email or password').should('exist');  // Проверка на наличие ошибки     });      it('should display error for long email', () => {         const longEmail = 'a'.repeat(101) + '@test.com';  // Длинный email (>100 символов)         cy.get('input[name="email"]').type(longEmail);  // Ввод длинного email         cy.get('input[name="password"]').type('password123');  // Ввод пароля         cy.get('button').contains('Login').click();  // Нажимаем вход          cy.contains('Invalid email or password').should('exist');  // Проверка на наличие ошибки     }); });

Технический анализ:

• Тест на длинный email падает: сервер возвращает 500 вместо ожидаемого 400 Bad Request.

• Лог Cypress: POST /rest/user/login 500, тело ответа: {«error»: «Uncaught exception in user validation»}.

• Это указывает на отсутствие серверной валидации длины строки, что приводит к неперехваченному исключению.

Шаг 2: Запускаем и анализируем

Запускаю тесты (npx cypress open). Тест с длинным email падает. Лог:

POST /rest/user/login 500

Response: {«error»: «Uncaught exception in user validation»}

Исправляю ожидание:

cy.get(‘#errorMessage’).should(‘contain’, ‘Internal Server Error’);

Технический вывод:

• Сервер не валидирует длину email, что вызывает исключение в бэкенде (вероятно, в Node.js/Express).

• Рекомендация: добавить валидацию на уровне middleware (например, express-validator).

Шаг 3: Учимся думать как тестировщик

Workik подсказывает неочевидные случаи, вроде SQL-инъекций. Анализ логов учит:

• Проверять HTTP-статусы (200, 401, 500).

• Искать несоответствия между фронтом и бэкендом.

Упрощаем баг-репорты с ИИ

Найти баг — полдела. Нужно описать его так, чтобы разработчики поняли проблему. Пример: тест на длинный email выявил ошибку 500.

Шаг 1: Ловим баг

Тест:

it('Длинный email', () => {     const longEmail = 'a'.repeat(100) + '@test.com';     cy.get('#email').type(longEmail);     cy.get('#password').type('password123');     cy.get('#loginButton').click();     cy.wait('@loginRequest').its('response.statusCode').should('eq', 500); }); 

Лог:

• POST /rest/user/login 500

• Тело ответа: {«error»: «Uncaught exception in user validation»}

• Скриншот: сообщение «Internal Server Error».

Шаг 2: Собираем баг-репорт

Баг-репорт:

Название: Ошибка 500 при отправке длинного email в форме логина
Шаги воспроизведения:

1. Открыть http://135.181.239.135:4000/#/login.

2. В поле email ввести строку длиной >100 символов (например, a…a@test.com).

3. В поле пароля ввести password123.

4. Нажать «Log in».

Ожидаемое поведение:

• Сервер возвращает 400 Bad Request с сообщением Email too long.

• Фронт отображает ошибку валидации.

Фактическое поведение:

• Сервер возвращает 500 Internal Server Error.

• Тело ответа: {«error»: «Uncaught exception in user validation»}.

• Фронт показывает «Internal Server Error».

Логи:

• POST /rest/user/login 500

• Запрос: {«email»: «a…a@test.com«, «password»: «password123»}

• Ответ: {«error»: «Uncaught exception in user validation»}

Скриншоты: [Скриншот из cypress/screenshots]
Окружение:

• Браузер: Chrome 126

• URL: http://135.181.239.135:4000

• Cypress: v10.3.0

• Juice Shop: Docker, версия 14.0.0

Технический анализ:

• Ошибка указывает на отсутствие валидации длины email в бэкенде.

• Возможная причина: необработанное исключение в функции валидации (например, TypeError при работе со строкой).

• Рекомендация: добавить проверку длины email в middleware или модели пользователя.

Шаг 3: Упрощаем с ИИ

Инструменты вроде BugBug анализируют логи и предлагают текст репорта. Пример:

Test failed: Expected 400, got 500

Suggested report:

— Steps: Send POST /rest/user/login with email >100 chars

— Expected: 400 Bad Request

— Actual: 500 Internal Server Error

— Logs: {«error»: «Uncaught exception»}

Эксплоративное тестирование с ИИ

Эксплоративное тестирование — это исследование приложения без строгих тест-кейсов. В Juice Shop полно уязвимостей (XSS, SQL-инъекции), и ИИ помогает их найти.

Шаг 1: Получаем подсказки

В Workik пишу:

Исследовать OWASP Juice Shop на http://135.181.239.135:4000. Найти уязвимости в форме логина, корзине, поиске. Подсказать сценарии.

Workik предлагает:

Форма логина:

• SQL-инъекция: Ввести ‘ OR ‘1’=’1.

• XSS: Ввести <script>alert(‘hack’)</script>.

• Переполнение буфера: Длинный email (>1000 символов).

Корзина:

• Манипуляция количеством: Изменить поле quantity через DevTools.

• CSRF: Проверить отсутствие токена в запросах.

Поиск:

• XSS: Ввести <script>alert(‘boom’)</script>.

• SQL-инъекция: Ввести %’ OR ‘1’=’1.

Шаг 2: Исследуем

Проверяю XSS в форме логина:

Шаги:

1. В поле email ввожу <script>alert(‘hack’)</script>.

2. Жму «Log in».

Результат:

• Появляется alert с текстом hack.

• Лог: скрипт выполняется без экранирования.

Баг-репорт:

Название: XSS-уязвимость в форме логина
Шаги:

1. Открыть http://135.181.239.135:4000/#/login.

2. В поле email ввести <script>alert(‘hack’)</script>.

3. Нажать «Log in».

Ожидаемое поведение:

• Ввод экранируется, alert не выполняется.

• Сервер возвращает 400 или 401.

Фактическое поведение:

• Выполняется JavaScript (alert).

• Ответ сервера: 200 OK (ввод не валидируется).

Логи:

• POST /rest/user/login 200

• Тело запроса: {«email»: «<script>alert(‘hack’)</script>», «password»: «password123»}

Технический анализ:

• Отсутствует экранирование ввода на сервере (например, нет sanitize-html).

• Рекомендация: добавить Content Security Policy (CSP) и экранирование.

ИИ как учитель

ИИ учит через фидбэк. Например, тест на длинный email падает. Лог:

POST /rest/user/login 500

{«error»: «Uncaught exception»}

Workik подсказывает: «Проверь серверные логи». Я нахожу в логах Juice Shop:

TypeError: Cannot read property ‘length’ of undefined

    at validateEmail (/app/server.js:123)

Урок:

• Проблема в функции validateEmail, которая не проверяет тип входных данных.

• Учусь анализировать стек вызовов.

Подводные камни

• Слепая вера: Workik может упустить XSS в поиске, если не указать конкретно.

• Ограничения бесплатной версии: Нет анализа серверных логов.

• Контекст: ИИ не знает о скрытых API-уязвимостях Juice Shop.

---

А если вам нужен ИИ-помощник для сотрудника — познакомьтесь ближе с продуктами Minervasoft. Ассистент с генеративным ИИ Minerva Copilot встраивается в любую систему компании и подсказывает ответы из корпоративной базы знаний в зависимости от контекста. Быстро, качественно и со ссылками на статьи.

Кроме того, благодаря технологии DataHub система управления знаниями Minerva Knowledge становится корпоративным «мозгом» для GenAI. Платформа объединяет любые источники информации в компании, в том числе внутренние системы, базы знаний и другие хранилища данных.

Узнать подробнее