Пишем key-value storage на пакетах ping’а или храним данные между облаками

Как-то давно я просматривал опции для команды ping и обратил внимание, что можно задавать размер ICMP пакета. «Хм», — подумал я: «Можно же сложить в сам пакет какую-то полезную нагрузку». Эта идея время от времени всплывала у меня в голове, но что именно можно хранить в пакете ICMP придумать не удавалось. Однако, недавно пришло понимание, что если хранить данные в ICMP пакете, то они не будут занимать место в оперативной памяти! То есть можно сделать key-value хранилище, где все данные будут храниться внутри сети.

Схема работы хранилища

Key-value хранилище слушает порт 4242.

• Записи создаются для POST запросов по адресу /<key> где в body находятся данные для хранения;
• Записи считываются для GET запросов по адресу /<key>.

Под капотом приложение после чтения POST запроса отправляет ICMP пакет с данными. Когда пакет возвращается, то снова отправляется в сеть и тд. Когда у приложения появляется какой-то запрос на чтение пакета, то приложение ждёт некоторое время, пока из сети не вернётся нужный пакет, затем возвращает данные.

Реализация на nodejs

Я решил реализовать задачу на Nodejs, но думаю что для реального применения нужно использовать какой-то низкоуровневый язык.

Сначала я хотел сделать возможность использовать любые строки в качестве ключей, но потом решил ограничиться просто цифрами, которые одновременно являются уникальным идентификатором ICMP пакета. Если же использовать строки, то нужно помещать их в начале данных пакета и обработку писать несколько по-другому.

Создание записей

Приложение запускается и слушает запросы на порту 4242. Новые записи ключ-значение создаются для обработанных POST запросов.

app.post('/:key', (req, res) => {     const key = req.params.key;     const payload = req.body;     // <...>     sendToHost(key, payload, res); // <-- создаём запись });

Основная хранилища находится в callback функции pingHost. Эта функция исполняется, когда отправленный пинг уже вернулся. Аргументы resKey — это идентификатор ICMP пакета, то есть наш ключ. А resValue — это значение, которое мы передавали. То есть как только мы получаем ответ от хоста, то сразу же отправляет данные обратно на хост.

const sendToHost = (key, value, creationResponse) => {     session.pingHost(HOST_IP, key, value, function (error, HOST_IP, _a1, _a2, resKey, resValue) {         creationResponse?.status(201).send('Stored successfully');         // <...>         sendToHost(resKey, resValue); // <-- повторная отправка запроса     }); }

Чтение записей

Все запросы на чтение мы складываем в reqStore и еще добавляем туда timeoutID, чтобы по истечении 2 секунд мы могли отправить сообщение о том, что ключ не был найден. pingHost

app.get('/:key', (req, res) => {     const key = req.params.key;     reqStore[key] = {         response: res,          timeoutID: setTimeout(() => res.status(404).send('Not Found'), 2000)     }; });

Проверка сохраненных в reqStore запросов происходит уже внутри колбэка функции pingHost. Если искомый ключ найден, то значение отправляется в ответе на запрос, таймаут очищается, а ключ удаляется из reqStore

// внутри колбэка pingHost  if (reqStore[resKey]) {     reqStore[resKey].response.send(resValue);     clearTimeout(reqStore[resKey].timeoutID);     delete reqStore[resKey]; }

Удаление записей

Удаление организовано примерно так же, как и чтение. Запросы на удаление записываются в keysToDelete.

app.delete('/:key', (req, res) => {     const key = req.params.key;     keysToDelete[key] = res; });

Проверка сохраненных в keysToDelete запросов происходит так же внутри колбэка функции pingHost. И если ключ вернувшегося ICMP пакета найден, то отправляется ответ об успешном удалении, в противном случае продолжается цикл отправки запросов на целевой хост.

if (keysToDelete[resKey]) {     keysToDelete[resKey].status(200).send('Key deleted')     delete keysToDelete[resKey]; } else {     sendToHost(resKey, resValue); }

Вот собственно и вся логика.

const express = require('express'); const bodyParser = require('body-parser'); const ping = require("net-ping");  // enrichment of ping functionality const netPingPlus = require('./net-ping-plus'); netPingPlus.run();  const HOST_IP = '213.59.253.7'; const DEBUG_DELAY_ON = false; // pause before sending each ping const DEBUG_DELAY = 300;    // milliseconds  const FIND_KEY_TIME = 2000; // milliseconds  const session = ping.createSession(); const reqStore = {}; const keysToDelete = {}; const app = express(); const port = 4242;  app.use(bodyParser.text());  const sendToHost = (key, value, creationResponse) => {      session.pingHost(HOST_IP, key, value, function (error, HOST_IP, _a1, _a2, resKey, resValue) {         if (error) {             console.log(HOST_IP + ": " + error.toString());             return;         }          creationResponse?.status(201).send('Stored successfully');          if (reqStore[resKey]) {             reqStore[resKey].responses.forEach(r => r.send(resValue));             clearTimeout(reqStore[resKey].timeoutID);             delete reqStore[resKey];         }          if (keysToDelete[resKey]) {             keysToDelete[resKey].responses.forEach(r => r.status(200).send('Key deleted'));             clearTimeout(keysToDelete[resKey].timeoutID);             delete keysToDelete[resKey];         } else {             if (DEBUG_DELAY_ON) {                 setTimeout(() => sendToHost(resKey, resValue), DEBUG_DELAY);             } else {                 sendToHost(resKey, resValue);             }         }     }); }  app.post('/:key', (req, res) => {     const key = req.params.key;     const payload = req.body;      if (!key || !payload) {         return res.status(400).send('Bad Request');     }      sendToHost(key, payload, res); });  app.get('/:key', (req, res) => {      const key = req.params.key;     // console.log('!GET', key);      if (!key) {         return res.status(400).send('Bad Request');     }      if (!reqStore[key]) {         reqStore[key] = {             responses: [res],             timeoutID: setTimeout(() => {                 res.status(404).send('Not Found');             }, FIND_KEY_TIME)         };     } else {         reqStore[key].responses.push(res);     } });  app.delete('/:key', (req, res) => {      const key = req.params.key;      if (!key) {         return res.status(400).send('Bad Request');     }      if (!keysToDelete[key]) {         keysToDelete[key] = {             responses: [res],             timeoutID: setTimeout(() => {                 res.status(404).send('Not Found');             }, FIND_KEY_TIME)         };     } else {         keysToDelete[key].responses.push(res);     } });  // Запуск сервера app.listen(port, () => {     console.log(`Server is listening on port ${port}`); }); 

Рабочий репозиторий можно найти на Гитхабе.

Проверяем работу

Запускать приложение нужно командой sudo nodejs serv.js, потому что приложению необходимы разрешения для работы с сокетами. Я потестировал создание, получение и удаление записей. Всё работает.

Прикладываю скриншоты из Wireshark, по которым видно, что отправляемые и получаемые пинги содержат нужные данные.

Отправленный ICMP пакет:

Принятый ICMP пакет:

В приложении я использую только один IP адрес для пинга, который я выбрал совершенно случайно. Но вообще нужно использовать целый пул адресов и неплохо бы дублировать запросы на разные IP, чтобы избежать потери данных.

Заключение

У меня нет идей о том как именно использовать такое хранилище и где это может быть полезно. Возможно какой-то исполняемый код можно будет прятать в сети, чтобы в час X собрать и запустить.