Всем привет! Я продолжаю развивать свою библиотеку для создания распределённых приложений. Она уже легла в основу новой версии rats-search (распределённый торрент-поисковик) и rasync (синхронизация папок, файлов и исходников между устройствами), а также, судя по всему, используется в UltraVNC (VNC-клиент).
Библиотека позволяет развернуть собственную P2P-сеть, связать пользователей между собой и выстроить обмен данными через потоки разных типов — бинарные, строковые и другие. Главная особенность — автоматическое обнаружение участников (peer discovery), что особенно актуально в условиях постоянных блокировок и сетевых ограничений.
На данный момент поддерживаются C/C++, Java (Android), Python и Node.js.
Это очередное обновление: ещё больше стабильности в работе различных функций, значительно улучшены протоколы DHT и BitTorrent. Обо всём подробнее — далее.
Последний стабильный релиз на сегодня — 2.1.5. Исходный код и собранные бинарные файлы доступны для:
-
Windows (64-bit)
-
Linux (64-bit)
-
Android (32-bit / 64-bit)
-
macOS (64-bit)
Доступ к функционалу библиотеки организован через FFI (Foreign Function Interface).
Поддерживается следующие возможности:
-
Поиск пиров в сети — автоматическое обнаружение участников через DHT (совместим с BitTorrent Mainline DHT) для глобальной сети и через mDNS для локальной.
-
Обход NAT без настройки роутера — встроенная поддержка UPnP, NAT-PMP, STUN. Библиотека сама просит роутер пробросить порт, поэтому пиры за NAT могут принимать входящие соединения без ручной настройки.
-
Сквозное шифрование — протокол Noise (Curve25519 + ChaCha20-Poly1305) с автоматическим управлением ключами, взаимной аутентификацией и совершенной прямой секретностью.
-
Передача файлов — потоковая отправка файлов и целых папок с контролем целостности, возможностью паузы/возобновления/отмены и атомарной доставкой.
-
Масштабируемый обмен сообщениями — протокол GossipSub для публикации/подписки по темам с организацией сообщений и их фильтрацией.
-
Поддержка многих языков — единый API для C++, C, Node.js (с TypeScript), Java/Android и Python, работающий на Windows, Linux, macOS и Android.
-
Удобный API для разработчика — событийная модель (
on(),once(),off()), обмен сообщениями в JSON, отслеживание состояния соединений в реальном времени и гибкая система логирования.В версии 2.0 значительно переработано ядро: оно переведено на модульную архитектуру и архитектуру единого реакторного потока (single reactor thread), что должно в разы улучшить масштабируемость, особенно при большом количестве пиров.
Существенно улучшен DHT: теперь реализована полноценная защита от eclipse-атак, а также поддержка динамической таблицы маршрутизации, независимой от spider-режима. Реализован новый точный алгоритм сходимости к ближайшим DHT-узлам — он не уступает по эффективности реализации из libtorrent, но при этом даёт точный результат, а не приближённый.
Появилась полноценная модульная архитектура: теперь модули можно подключать по мере необходимости, под конкретные задачи и потребности — например, DHT, файлообмен, хранилище, mDNS, мониторинг сети и т.п. В версии 1.0 всё было собрано в одном месте, теперь же каждый модуль подключается по необходимости. На C++ в версии 2.0 это выглядит так:
«`#include "node/node.h"#include "subsystems/dht_discovery.h"#include "subsystems/mdns_discovery.h"#include "subsystems/peer_exchange.h"#include "subsystems/reconnection.h"#include "subsystems/ping_service.h"#include "subsystems/pubsub.h"Node node(config);// — автоматическое обнаружение —// DHT (WAN): ключом обнаружения служит комната, поэтому встречаются только узлы из одной комнаты.DhtDiscovery::Config dc;dc.discovery_key = room;dc.data_dir = data_dir; // храним таблицу маршрутизации рядом с идентификаторомnode.add_subsystem(std::make_unique<DhtDiscovery>(std::move(dc)));// mDNS (LAN): обнаружение пиров в одной локальной сети без какой-либо настройки.node.add_subsystem(std::make_unique<MdnsDiscovery>());// PEX: узнав об одном пире, получаем от него список известных ему пиров и подключаемся к ним.node.add_subsystem(std::make_unique<PeerExchange>());Полноценный каталог с примерами тут — https://github.com/librats/librats/tree/master/examples
Вместе с библиотекой вышла и новая, более стабильная версия rats-search — 2.1.7. Она ещё лучше оптимизирована по памяти и CPU. За счёт новой версии librats в ней значительно улучшен поиск других участников и конкретных торрентов. Исправлена индексация файлов — раньше она иногда терялась при удалённом поиске.
https://github.com/librats/rats-search/releases
Вышел ещё один проект на librats — синхронизатор папок между устройствами rasync (распределённый rsync). Он позволяет автоматически синхронизировать вложенные папки между устройствами, приводя их в согласованное состояние. Условно говоря, ближайший аналог — это Syncthing на Go, но здесь реализация консольная, на C++, и более компактная.
https://github.com/librats/rasync/releases
Работает это так. На одном компьютере вы запускаете:
rasync --key s3cr3t --discover ./documents ./photos ./code
где ключ служит одновременно и ключом синхронизации, и ключом безопасности для шифрования данных. На другом устройстве вы делаете, в целом, то же самое — и получаете на выходе те же папки с документами, фотографиями и кодом. И так продолжаем делать с другими устройствами где вам нужна синхронизация.
можно поиграться с настройками или указать например другой путь для того же каталога
rasync --key s3cr3t --discover ./somefolder --name documents ./photos ./code
В таком варианте документы сохранит в каталог с другим названием. А —discover включает обнаружение через все доступные источники (mDNS/DHT).
ссылка на оригинал статьи https://habr.com/ru/articles/1066186/