Визуализация sqlite в node.js

Довольно часто на этапе прототипирования (и всегда — в пет-проектах) я не запариваюсь с бэкэндом и поднимаю апи на express с sqlite3. Это легко и довольно удобно для несложной логики, а для сложной есть бэкэндеры с их отдельным миром. Единственный геморрой, который долгое время меня преследовал на этапе написания апи — невозможность быстро заглянуть в базу и отследить изменения. Можно дебажить по памяти, конечно, но это как-то странно, когда можно просто вытащить содержимое по запросу и отобразить его на какой-нибудь страничке. Вот только каждый раз заново парсить json и распихивать его в таблицы по лучшим практикам очередного фреймворка мне не хотелось, поэтому я после недолгих поисков нашёл sqljs и набросал на нём простейший визуализатор.

Про sqljs

Это библиотека, позволяющая создавать sqlite базы, читать, писать и вообще строить любой апи на них. Он построен на wasm, поэтому работает медленнее чем тот же sqlite3, и использует emscripten для сборки. По умолчанию создаётся in-memory база, но можно читать из файла и экспортировать файл из памяти. Демо. В конце концов, sqljs не завязан на node или любое другое окружение и спокойно работает в браузере, но мне было проще запустить его из ноды, всё равно ж использую.

Ссылки
Вот сайт, документация и примеры. Есть легаси-версия с asm.js и web worker версия, все дистрибутивы доступны через CDN и на GitHub.

Использование

0. Подключаем библиотеку

CDN:

  <script src="https://cdnjs.cloudflare.com/ajax/libs/sql.js/1.4.0/dist/sql-wasm.js" integrity="sha512-8oJoeo0ykAzuJzQFJDnwz9t4Rr+1xue7LFX+kr0NJMpOHH9QJPC563If+sakheUe3QbLwTTgXIGPC6YZTwp7Iw==" crossorigin="anonymous"></script> 

npm:

  npm install sqljs 

1. Инициализация библиотеки

  // Используя модуль:   const initSqlJs = require('sql.js');   // При использовании в браузере:   var initSqlJs = window.initSqlJs; 

2. Загружаем инстанс

  const SQL = await initSqlJs({     // Асинхронная загрузка бинарника wasm. Разумеется, его можно хранить и у себя     // В node не требуется     locateFile: file => `https://sql.js.org/dist/${file}`   }); 

3. Создаём базу, выполняем INSERT/SELECT

  var db = new SQL.Database();   // Также можно использовать new SQL.Database(data), где   // data это Uint8Array с файлом sqlite    sqlstr = "CREATE TABLE hello (a int, b char);";   sqlstr += "INSERT INTO hello VALUES (0, 'hello');"   sqlstr += "INSERT INTO hello VALUES (1, 'world');"   db.run(sqlstr);    var res = db.exec("SELECT * FROM hello");   /*   [     {columns:['a','b'], values:[[0,'hello'],[1,'world']]}   ]   */ 

4. Формируем смешанный запрос и привязываем переменные к значениям ответа

  var stmt = db.prepare("SELECT * FROM hello WHERE a=:aval AND b=:bval");    var result = stmt.getAsObject({':aval' : 1, ':bval' : 'world'});   console.log(result); // {a:1, b:'world'}    // Освобождаем память выражения   stmt.free();   // После освобождения использовать выражение нельзя,   // но бесконтрольное использование приведёт к утечкам памяти 

Демо: https://jsfiddle.net/5f3ahx8o/

Визуализация

Из-за разницы в производительности и не особенно нужного in-memory, возможно и стоило изначально брать проверенный sqlite3, но надо было бы притянуть немного бойлерплейта, да и логично было бы пустить отображение через апи, а мне хотелось иметь отдельно работающий молчаливый сервис. Чтобы не плодить сущности я взял express-handlebars для отображения и прокинул в основную вьюху {{{renderedTables}}}.

Базу забирал из той же директории, но можно прописать любой путь.

  var filebuffer = fs.readFileSync('sqlitedb');   /* ... */   initSqlJs().then(function(SQL){     var db = new SQL.Database(filebuffer); 

Данные из всех таблиц получаются в две строчки:

  var schema = db.exec('SELECT name, sql FROM sqlite_master WHERE type="table";')[0].values;   schema.forEach(t => all[t[0]] = db.exec('SELECT * FROM ' + t[0])); 

Дальше идёт скучный рендер таблицы и, наконец, отправка её на страницу. Полный код есть в репо.

Заключение

Меня на протяжении всего этого процесса не покидало ощущение, что я изобретаю какой-то тупейший велосипед и всё уже точно написано до меня, обмазано тестами и схемами, но топорного варианта для себя, «запустил и забыл», так и не обнаружил. Ну, тем забавнее будет, если эта штука кому-то окажется полезна. Можно ещё прикрутить хот-релоад и эти долбаные схемы, но зачем их заводить для mock database на пару таблиц, мне неочевидно.

На правах рекламы

Мощные виртуальные серверы с процессорами AMD EPYC для разработчиков. Частота ядра CPU до 3.4 GHz. Максимальная конфигурация позволит оторваться на полную — 128 ядер CPU, 512 ГБ RAM, 4000 ГБ NVMe.