Пишем тесты в транзакциях вместе с MySQL

Хочу поведать о своей библиотеке для написания тестов в транзакциях при работе с MySQL.

Я люблю писать тесты для своего кода, но при этом не люблю писать моки и всю необходимую для них обвязку. Особенно это касается базы данных, ибо если замокать вызовы внешних сервисов и очереди сообщений еще не так сложно, то с БД все гораздо сложнее. Взаимодействие с базой данных обычно довольно «богатое», это ведет к тому, что приходится писать много хрупких и утомительных моков/стабов, и при этом сами запросы к БД не покрываются тестами (а там зачастую могут таиться ошибки, связанные с некорректными запросами или ошибками миграции схемы).

Выход здесь — это использовать для тестов реальную БД c данными, которые мы помещаем в нее перед запуском всех или одного конкретного теста. Но тут возникает вопрос, как восстанавливать состояние в базе данных после прохождение конкретного теста?

Подходов для решения несколько:

• перезапускать контейнер с БД перед каждым тестом для восстановления состояния

• использовать TRUNCATE

• писать код для загрузки и очищения/восстановления данных после прохождения каждого теста

Первый подход слишком тяжеловесный для прогона тестов в параллель бесконфликтно, ведь придется запускать множество контейнеров в параллель. Второй подход быстрее, чем предыдущий, но TRUNCATE очищает вообще все данные в таблице, что создает проблемы при запуске тестов в параллель, которые работают с одними и теми же таблицами, что может привести к конфликтам. Кроме того, если используются FOREIGN KEY их придется включать/отключать перед вызовом TRUNCATE. И про ручное восстановление данных в БД перед запуском тестов тоже надо не забывать. Последний подход требует написания много бойлерплейт кода, причем в случае падения теста мы можем получить «грязные» данные в БД.

Но есть другой подход, это оборачивать тесты в транзакции и после выполнения каждого теста откатывать транзакцию. Этот подход не то чтобы новый, он используется в других языках и платформах, таких как Ruby on Rails, Laravel и Spring, но при этом в Node js почти не распространен. В проектах, где я работаю, часто используется MySQL и разные ORM/ query builder для него, но писать имплементацию transactional tests под каждую библиотеку не хотелось, а где-то это и невозможно из-за особенности их api. Выход был найден в виде того, что большинство ORM и query builder используют один из двух пакетов, mysql или mysql2 в качестве клиентов, а следовательно, достаточно будет пропатчить их для того, чтобы сделать поддержку транзакционных тестов для всех библиотек, использующих эти драйвера.

Реализация

Устанавливаем библиотеку и необходимый драйвер для ORM/Query builder:

npm i mysql-transactional-tests -S;  # устанавливаем один из двух драйверов npm i mysql -S; npm i mysql2 -S;

Затем напишем простой тест, который проверяет добавление нового сотрудника в таблицу employee :

/**   Необходимо импортировать раньше,   модуля, который создает подключение к БД (mysql driver) **/ import { startTransaction, unPatch } from 'mysql-transactional-tests/mysql'; /**   Необходимо импортировать раньше,   модуля, который создает подключение к БД (mysql2 driver) **/ // import { startTransaction, unPatch } from 'mysql-transactional-tests/mysql2';  import MySQLClient from '../client/mysql_client'; const mysqlConfig = require('../mysql.config.json');  const dbName = mysqlConfig.database; const mysqlClient = new MySQLClient(mysqlConfig);  describe('[mysql]: transactional test', () => {   let rollback: () => Promise<void>;    beforeEach(async () => {     // Создаем отдельную транзакцию для каждого теста     ({ rollback } = await startTransaction());   });    afterEach(async () => {     // Откатываем транзакцию после прохождения каждого теста     await rollback();   });    afterAll(async () => {     // Закрываем соединение и возвращаем драйвер к исходному состоянию     mysqlClient.close();     unPatch();   });    it('create employee', async () => {     await mysqlClient.query(       `INSERT INTO ${dbName}.employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405`,     );     const result = await mysqlClient.query(`SELECT * FROM ${dbName}.employee`);     expect(result).toHaveLength(4);   }); });

В зависимости от типа используемого драйвера, необходимо импортировать соответствующий модуль mysql-transactional-tests/mysql или mysql-transactional-tests/mysql2, и при этом сделать это надо раньше импорта модуля, который создает коннект к БД, для того чтобы была возможность у библиотеки пропатчить драйвер до создания подключения.

Использование транзакций в тестируемом коде поддерживается:

it('create employee with transaction', async () => {   const trx = await mysqlClient.beginTransaction();   await trx.query(     `INSERT INTO ${dbName}.employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405`,   );   await trx.commit();   const result = await mysqlClient.query(`SELECT * FROM ${dbName}.employee`);   expect(result).toHaveLength(4); });

Список поддерживаемых библиотек:

• Knex

• Kysely

• Sequelize

• TypeORM

• MikroORM

• и другие клиенты, которые используют mysql или mysql2 драйвер

Примеры тестов с разными ORM/Query builder.

Как это работает

Для того чтобы такой подход работал, тест оборачивается в транзакцию. На выходе получится следующий SQL код для теста на добавления сотрудника в таблицу employee:

BEGIN;   INSERT INTO employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405;   SELECT * FROM employee; ROLLBACK;

Если тестируемый код содержит транзакции, они будут сконвертированы в savepoints. Операторы BEGIN/START TRANSACTION будут заменены на  SAVEPOINT,COMMIT на  RELEASE SAVEPOINT,ROLLBACK наROLLBACK TO SAVEPOINT. Таким образом, происходит эмуляция вложенных транзакций.

BEGIN;   SAVEPOINT sp_1;   INSERT INTO employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405;   RELEASE SAVEPOINT sp_1;   SELECT * FROM employee; ROLLBACK;

Ограничения

Относительно редкий кейс, но об этом стоит знать. Вы можете получить ошибку, когда тестируете код, который запускает несколько транзакций, порядок завершения которых не детерминирован:

it('insert: two parallel transcations: one commit, one rollback', async () => {   const [ trx1, trx2 ] = await Promise.all([     mysqlClient.beginTransaction(),     mysqlClient.beginTransaction(),   ]);    await trx1.query(     `INSERT INTO ${dbName}.employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405`,   );   await trx2.query(     `INSERT INTO ${dbName}.employee SET first_name='Matthew', last_name='Black', age=45, sex='woman', income=11000`,   );    // ❌ Может произойти ошибка, если commit пройзодет раньше rollback   await Promise.all([     trx1.commit,     trx2.rollback,   ]); });

Происходит это из-за того, что транзакции конвертируются в savepoints, а все sql запросы идут в рамках одной глобальной транзакции.

BEGIN;    SAVEPOINT sp_1;   INSERT INTO employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405;   SAVEPOINT sp_2;   INSERT INTO employee SET first_name='Matthew', last_name='Black', age=45, sex='woman', income=11000;    -- ✅   RELEASE SAVEPOINT sp_2;   RELEASE SAVEPOINT sp_1;    -- ❌   RELEASE SAVEPOINT sp_1;   -- Not found savepoint sp_2   RELEASE SAVEPOINT sp_2;  ROLLBACK;

Исходя из вышесказанного, для того чтобы избежать проблем, транзакции внутри тестируемого кода должны открываться/закрываться по принципу LIFO (последним пришел, первым вышел):

it('insert: two parallel transcations, one commit, one rollback', async () => {   // start two parallel transaction   const trx1 = await mysqlClient.beginTransaction();   const trx2 = await mysqlClient.beginTransaction();    await trx1.query(     `INSERT INTO ${dbName}.employee SET first_name='John', last_name='Brown', age=35, sex='man', income=23405`,   );   await trx2.query(     `INSERT INTO ${dbName}.employee SET first_name='Matthew', last_name='Black', age=45, sex='woman', income=11000`,   );    // ✅   await trx2.rollback();   await trx1.commit();    // ❌   await trx1.commit();   await trx2.rollback();    const result = await mysqlClient.query(`SELECT * FROM ${dbName}.employee`);   expect(result).toHaveLength(4);    const notFound = await mysqlClient.query(`SELECT * FROM ${dbName}.employee WHERE first_name='Matthew' LIMIT 1`);   expect(notFound).toHaveLength(0); });

И еще очевидный момент, что данный модуль не будет работать с Prisma или другим ORM/Query builder, который не использует пакетmysql или mysql2 в качестве драйвера для работы с MySQL.

Итого

C помощью transactional tests мы получаем следующие возможности:

• можем использовать реальную БД (MySQL) в тестах и не писать моки для кода, который работает с базой данных

• не требуется думать о восстановлении данных в БД к исходному состоянию после прохождения теста, так как в конце теста будет вызван rollback для транзакции и данные вернутся к исходному состоянию

• тесты, работающие с одними и теми же таблицами в БД, могут запускаться параллельно

Будут благодарен, если поставите звездочку на GitHub, и рад, если данное решение было полезно для вас 😊