Всем привет! Я продолжаю развивать свою библиотеку для создания распределённых приложений. Она уже легла в основу новой версии rats-search (распределённый торрент-поисковик) и rasync (синхронизация папок, файлов и исходников между устройствами), а также, судя по всему, используется в стороннем клиенте UltraVNC (VNC-клиент).
Библиотека позволяет развернуть собственную P2P-сеть, связать пользователей между собой и выстроить обмен данными через потоки разных типов — бинарные, строковые и другие. Главная особенность — автоматическое обнаружение участников (peer discovery), что особенно актуально в условиях постоянных блокировок и сетевых ограничений.
На данный момент поддерживаются C/C++, Java (Android), Python и Node.js.
Это очередное обновление: ещё больше стабильности в работе различных функций, значительно улучшены протоколы DHT и BitTorrent. Обо всём подробнее — далее.
Последний стабильный релиз на сегодня — 2.1.2. Исходный код и собранные бинарные файлы доступны для:
-
Windows (64-bit) / Windows (arm)
-
Linux (64-bit) / Linux (arm)
-
Android (32-bit / 64-bit)
-
macOS (64-bit)
Доступ к функционалу библиотеки организован через FFI (Foreign Function Interface).
Поддерживается следующие возможности:
-
Поиск пиров в сети — автоматическое обнаружение участников через DHT (совместим с BitTorrent Mainline DHT) для глобальной сети и через mDNS для локальной.
-
Обход NAT без настройки роутера — встроенная поддержка UPnP, NAT-PMP, STUN, Hole punching (координация через модуль PEX). Библиотека сама просит роутер пробросить порт, поэтому пиры за NAT могут принимать входящие соединения без ручной настройки.
-
Сквозное шифрование — протокол Noise (Curve25519 + ChaCha20-Poly1305) с автоматическим управлением ключами, взаимной аутентификацией и совершенной прямой секретностью.
-
Передача файлов — потоковая отправка файлов и целых папок с контролем целостности, возможностью паузы/возобновления/отмены и атомарной доставкой.
-
Масштабируемый обмен сообщениями — протокол GossipSub для публикации/подписки по темам с организацией сообщений и их фильтрацией.
-
Поддержка многих языков — единый API для C++, C, Node.js (с TypeScript), Java/Android и Python, работающий на Windows, Linux, macOS и Android.
-
Удобный API для разработчика — событийная модель (
on(),once(),off()), обмен сообщениями в JSON, отслеживание состояния соединений в реальном времени и гибкая система логирования.
Ключевое изменение 2.1.x: появилась поддержка равноправного транспорта поверх UDP наряду с TCP близкого по духу к QUIC. В UDP-транспорте собраны те же гарантии: нумерация пакетов, кумулятивный ACK с 32-битной SACK-битмапой, RTO по RFC 6298 с правилом Карна, fast retransmit и восстановление пропусков по SACK, контроль перегрузки Reno, попакетный flow control.
Оба транспорта равноправны и выбираются автоматически при установке соединения: если в вашей сети заблокирован UDP, будет использован TCP, и наоборот. Это также сделало возможной полноценную реализацию протокола UDP Hole Punching через модуль PEX (протокол DCUtR).
Новый модуль можно использовать следующим образом, сразу большой пример с поддержкой новых возможностей из 2.1.x:
#include <librats/node/node.h>#include <librats/subsystems/dht_discovery.h>#include <librats/subsystems/mdns_discovery.h>#include <librats/subsystems/peer_exchange.h>#include <librats/subsystems/hole_punch.h>#include <librats/subsystems/port_mapping_service.h>#include <librats/subsystems/reconnection.h>#include <librats/subsystems/ping_service.h>#include <librats/subsystems/pubsub.h>NodeConfig config;config.listen_port = port;config.data_dir = data_dir;// оба транспорта (включены по-умолчанию)config.enable_udp = true;config.enable_tcp = true;// какой транспорт предпочитаем?config.preferred_transport = TransportKind::Udp;Node node(config);// — автоматическое обнаружение —// DHT (WAN): ключом обнаружения служит комната, поэтому встречаются только узлы из одной комнаты.DhtDiscovery::Config dc;dc.discovery_key = room;dc.data_dir = data_dir; // храним таблицу маршрутизации рядом с идентификаторомnode.add_subsystem(std::make_unique<DhtDiscovery>(std::move(dc)));// mDNS (LAN): обнаружение пиров в одной локальной сети без какой-либо настройки.node.add_subsystem(std::make_unique<MdnsDiscovery>());// PEX: узнав об одном пире, получаем от него список известных ему пиров и подключаемся к ним.node.add_subsystem(std::make_unique<PeerExchange>());// — прохождение NAT —// UPnP / NAT-PMP: просим роутер пробросить наш порт снаружи. Протоколы мапятся// независимо, поэтому запрашиваются оба — роутер вполне может согласиться на// один и отказать в другом.node.add_subsystem(std::make_unique<PortMappingService>());// HolePunchHolePunch::Config hp;hp.enable_relay = true; // разрешать использовать ваш пир для пробивок других адресов (DCUtR)node.add_subsystem(std::make_unique<HolePunch>(std::move(hp)));// Reconnection / Ping / PubSub — как раньше.node.add_subsystem(std::make_unique<ReconnectionService>(rc));node.add_subsystem(std::make_unique<PingService>());auto* pubsub = node.add_subsystem(std::make_unique<PubSub>());
Собственно, в обновлённом примере, помимо нового модуля HolePunch, можно заметить ещё одно интересное отличие: теперь пути начинаются с librats. Дело в том, что пакет librats официально доступен в репозитории Microsoft пакетного менеджера vcpkg, и сделано это для совместимости с другими пакетам и исключением любых других пересечений.
И да, теперь библиотеку можно установить через vcpkg
Вместе с библиотекой вышла и новая, более стабильная версия rats-search (торрент поисковика) — 2.2.2. Она построена на той же новой версии.
https://github.com/librats/rats-search/releases
Вышел ещё один проект на librats — синхронизатор папок между устройствами rasync (распределённый rsync). Он позволяет автоматически синхронизировать вложенные папки между устройствами, приводя их в согласованное состояние. Условно говоря, ближайший аналог — это Syncthing на Go, но здесь реализация консольная, на C++, и более компактная.
https://github.com/librats/rasync/releases
Работает это так. На одном компьютере вы запускаете:
rasync --key s3cr3t --discover ./documents ./photos ./code
где ключ служит одновременно и ключом синхронизации, и ключом безопасности для шифрования данных. На другом устройстве вы делаете, в целом, то же самое — и получаете на выходе те же папки с документами, фотографиями и кодом. И так продолжаем делать с другими устройствами где вам нужна синхронизация.
можно поиграться с настройками или указать например другой путь для того же каталога
rasync --key s3cr3t --discover ./somefolder --name documents ./photos ./code
В таком варианте документы сохранит в каталог с другим названием. А —discover включает обнаружение через все доступные источники (mDNS/DHT).
Спасибо всем за внимание
ссылка на оригинал статьи https://habr.com/ru/articles/1072550/