Маршрутизация силами Haproxy, DoH, GeoIP, защита сервисов через mTLS и выгрузка метрик в Prometheus, настройка ACME.SH

Так же будет переосмысление предыдущих статей на тему маршрутизации VLESS+TLS VLESS-REALITY

Данная статья так же будет объединением предыдущих статей про маршрутизацию REALITY методом steal-oneself(укради себя) и переосмысляет их. Первые три можно прочитать тут 1 2 3. Перейдем на unix socket взамен использования портов, установим панель 3X-UI на сервер без докера от пользователя xray, подключим подписку. Так же дам пример как через Haproxy развернуть сертификат для ocserv или любого другого сервиса для сквозной маршрутизации.

Версии используемого ПО Ubuntu 24.04 LTS и Haproxy 2.8 из репозитория, конфиг подготовлен для этой версии, на версиях выше может потребоваться доработка, версия XCA 2.8, на 2.9 идентично.

В первой части статьи установим Haproxy настроим выдачу сертификатов без перезапуска Haproxy через acme.sh, настроим базовую маршрутизацию, базово подготовим Apache2 для работы за обратным прокси, подготовим УЦ, настроим mTLS, и встроенный экспортер Prometheus в Haproxy.

Часть 1. Базовый конфиг и сертификаты LE

Работаю от root командой sudo su
Обновим список пакетов и обновим систему:
apt update && apt upgrade -y
Установим необходимое ПО:
apt install -y haproxy htop socat netcat-traditional apache2
Поменяем стандартный 80 порт apache2 на 8080 и отключим модули SSL:
Отрываем конфиг nano /etc/apache2/ports.conf и приводим к виду как на примере ниже

Listen 8080  #<IfModule ssl_module> #Listen 443 #</IfModule>  #<IfModule mod_gnutls.c> #Listen 443 #</IfModule>

Перезапускаем apache2 systemctl restart apache2

Установим acme.sh и подготовим директорию для сертификатов.
Создадим пользователя acme:
adduser --system --disabled-password --disabled-login --home /var/lib/acme --quiet --force-badname --group acme
Добавим его в группу haproxy:
adduser acme haproxy
Создадим директорию для файлов acme:
mkdir /usr/local/share/acme.sh/
Перейдем в tmp загрузим acme.sh перейдем в директорию:
cd /tmp/ && git clone https://github.com/acmesh-official/acme.sh.git && cd acme.sh/
Установим acme.sh без cron в созданную ранее директорию:
./acme.sh --install --no-cron --no-profile --home /usr/local/share/acme.sh
Сделаем симлинк для удобства:
ln -s /usr/local/share/acme.sh/acme.sh /usr/local/bin/
Изменим права на директорию acme.sh:
chmod 755 /usr/local/share/acme.sh/
Создадим директорию для хранения сертификатов:
mkdir /etc/haproxy/certs
Изменим владельца:
chown haproxy:haproxy /etc/haproxy/certs
Выставим права:
chmod 770 /etc/haproxy/certs

Теперь создадим аккаунт в acme.sh, далее все действия выполняются от пользователя acme:
sudo -u acme -s
acme.sh --register-account --server letsencrypt -m example@mail.com
Изменим УЦ для выдачи по умолчанию ZeroSSL не работает с RU:
acme.sh --set-default-ca --server letsencrypt
Выполним acme.sh --update-account
Полученный ACCOUNT_THUMBPRINT нам потребуется далее для настройки Haproxy.
Завершим работу с пользователем командой exit

Приступим к подготовке конфигурации Haproxy
Сотрем имеющуюся конфигурацию командой > /etc/haproxy/haproxy.cfg
Откроем файл nano /etc/haproxy/haproxy.cfg
Настроим секцию Global, в замен «*ACCOUNT_THUMBPRINT*» вставьте полученный ранее отпечаток на стадии acme.sh —update-account, уровень безопасности выберите сами, для совместимости я использую tls1.2 на фронтенде отдельно можно установить tls1.3

global         log /dev/log    local0         log /dev/log    local1 notice         chroot /var/lib/haproxy         stats socket /var/run/haproxy/admin.sock level admin mode 660         setenv ACCOUNT_THUMBPRINT '*ACCOUNT_THUMBPRINT*' # поменять на полученный из acme         stats timeout 30s         user    haproxy         group   haproxy         daemon     # https://ssl-config.mozilla.org/     # Улучшенная безопастность и совместимость со старыми браузерами ( Intermediate ) Supports Firefox 27, Android 4.4.2, Chrome 31, Edge, IE 11 on Windows 7, Java 8u31, OpenSSL 1.0.1, Opera 20, Safari 9         ssl-default-bind-curves X25519:prime256v1:secp384r1         ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305         ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256         ssl-default-bind-options prefer-client-ciphers ssl-min-ver TLSv1.2 no-tls-tickets          ssl-default-server-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305         ssl-default-server-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256         ssl-default-server-options ssl-min-ver TLSv1.2 no-tls-tickets      # TLS 1.3 современная безопасность без отката к TLS 1.2  ( Modern ) Supports Firefox 63, Android 10.0, Chrome 70, Edge 75, Java 11, OpenSSL 1.1.1, Opera 57, Safari 12.1 #        ssl-default-bind-curves X25519:prime256v1:secp384r1 #        ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256 #        ssl-default-bind-options prefer-client-ciphers ssl-min-ver TLSv1.3 no-tls-tickets  #        ssl-default-server-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256 #        ssl-default-server-options ssl-min-ver TLSv1.3 no-tls-tickets          ssl-dh-param-file /etc/haproxy/dh4096.pem # openssl dhparam -out /etc/haproxy/dh4096.pem 4096 #        tune.ssl.default-dh-param 2048       # Тюнинг http/2         tune.h2.initial-window-size 536870912 # Увеличиваем начальный размер окна для входящих и исходящих соединений.         tune.h2.fe.max-concurrent-streams 512 # Установим кол-во одновременных потоков на входящие соединений.         tune.h2.be.max-concurrent-streams 512 # Установим кол-во одновременных потоков на исходящие соединений.

Сгенерируем DH командой: openssl dhparam -out /etc/haproxy/dh4096.pem

Настроим секции defaults и resolvers для разрешения доменных имен на backend’е

defaults        log global        mode http        option httplog        option dontlognull        timeout connect 40s        timeout client  1m        timeout server  1m        timeout tunnel 1h        timeout http-request 30s        errorfile 400 /etc/haproxy/errors/400.http        errorfile 403 /etc/haproxy/errors/403.http        errorfile 408 /etc/haproxy/errors/408.http        errorfile 500 /etc/haproxy/errors/500.http        errorfile 502 /etc/haproxy/errors/502.http        errorfile 503 /etc/haproxy/errors/503.http        errorfile 504 /etc/haproxy/errors/504.http  resolvers dnsserver         nameserver ns1 127.0.0.1:53         parse-resolv-conf         resolve_retries       3         timeout resolve       1s         timeout retry         1s         hold other           30s         hold refused         30s         hold nx              30s         hold timeout         30s         hold valid           10s         hold obsolete        30s

Настроим http фронтенд (порт 80)

frontend f_http         bind *:80         bind [::]:80         mode http      # отклоним невалидные юзер агенты         http-request reject if { req.hdr(user-agent) -m len le 32 }         http-request reject if { req.hdr(user-agent) -m sub evil }      # ответим на запрос ACME         http-request return status 200 content-type text/plain lf-string "%[path,field(-1,/)].${ACCOUNT_THUMBPRINT}\n" if { path_beg '/.well-known/acme-challenge/'}         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         http-request redirect scheme https code 301 unless { ssl_fc }

Теперь настроим TCP фронтенд на 443 порту для SSL Passthrough, а так же сделаем доступным SSH на 443 порту.

frontend f_tcp         bind *:443    # ipv4 SSL Passthrough         bind [::]:443 # ipv6 SSL Passthrough         mode tcp         option tcplog         tcp-request inspect-delay 3s      # Ограничим частоту запросов         stick-table type ip size 1m expire 10s store conn_cur         tcp-request session track-sc0 src         tcp-request session reject if { sc_conn_cur(0) gt 240 }         tcp-request content capture req.ssl_sni len 10         tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }      # Правила сопостовления          use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { payload(0,7) -m bin 5353482d322e30 } or !{ req.ssl_hello_type 1 } { req.len 0 } #use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { req.len 0 }          use_backend tcp_to_https if { req.ssl_sni -i one.example.ru }

Сразу же добавим https фронтед

frontend f_https #          bind abns@frontendhttps.sock accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 strict-sni tfo         http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         http-response set-header X-Content-Type-Options nosniff         http-response set-header X-XSS-Protection 1;mode=block         http-response set-header X-Frame-Options SAMEORIGIN         http-after-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains;" # Устанавливаем HSTS         stick-table type ip size 100k expire 5m store http_req_rate(10s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 300 }         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path /https-status-443 }

Справка *_sni

req.ssl_sni — анализирует заголовок SNI для маршрутизации без SSL-терминации трафика и сквозной передачи зашифрованного трафика на бекенд.
ssl_fc_sni — Проводит SSL-терминацию трафика для передачи на http бекенды.

Теперь настало время для backend секции

backend tcp-ssh # Бекенд для SSH         mode tcp         option http-keep-alive         timeout http-keep-alive 30s         server ssh 127.0.0.1:22 check port 22 backend tcp_to_https #          mode tcp         server s1 abns@frontendhttps.sock send-proxy-v2-ssl-cn tfo check          retry-on conn-failure empty-response response-timeout

Проверим конфигурацию haproxy haproxy -f /etc/haproxy/haproxy.cfg -c
Если ответ Configuration file is valid перезапустим командой systemctl restart haproxy

На этом базовая конфигурация окончена, можем приступить к выдаче сертификатов перед началом развертывания оставшихся сервисов и настройкой ограничений.

Начнем получать сертификаты, переключимся на пользователя acme:
sudo -u acme -s
Создадим первый запрос на сертификат для домена one:
acme.sh --issue -d one.example.ru --stateless --ecc
Произведем развертывания сертификата через deploy-hook выполним:

DEPLOY_HAPROXY_HOT_UPDATE=yes \ DEPLOY_HAPROXY_STATS_SOCKET=/var/run/haproxy/admin.sock \ DEPLOY_HAPROXY_PEM_PATH=/etc/haproxy/certs \ acme.sh --deploy -d one.example.ru --deploy-hook haproxy

Таким методом развертываете необходимое кол-во сертификатов, теперь можно установить задачу в crontab на обновление сертификатов командой acme.sh --install-cronjob .
Проверить сертификат можно командой:
echo "show ssl cert /etc/haproxy/certs/one.example.ru" | nc -U /var/run/haproxy/admin.sock | grep Status
Если при выполнении вы видите ‘Status: Used’ значит все прошло успешно, теперь можно перейти по адресу one.example.ru/https-status-443 и увидеть Status 200 OK! Your IP (Ваш IP), значит все работает, и будем приступать к следующему этапу, защите по списками FireHol и GeoIP по GeoIP так же можно маршрутизировать трафик для клиентов из разных стран или континентов.

Часть 2. Списки FireHol, GeoIP и настройка rate limit

Подготовим директории для хранения списков
mkdir /etc/haproxy/geoip /etc/haproxy/firehol /etc/haproxy/scripts
Напишем скрипт для загрузки firehol, и преобразуем его в чистый список IP и подсетей,
nano /etc/haproxy/scripts/firehol.sh

#!/bin/bash  # Определяем директории TMP_DIR="/tmp/firehol" DEST_DIR="/etc/haproxy/firehol"  # Создаем временную директорию mkdir -p "$TMP_DIR"  # Скачиваем файлы urls=(     "https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/firehol_level1.netset"     "https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/firehol_level2.netset"     "https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/firehol_level3.netset"     "https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/firehol_abusers_1d.netset" )  files=("level1.acl" "level2.acl" "level3.acl" "abusers_1d.acl")  for i in "${!urls[@]}"; do     curl -s "${urls[$i]}" -o "$TMP_DIR/${files[$i]%.acl}.netset" done  # Очищаем файлы от комментариев и пустых строк for file in "${files[@]}"; do     netset_file="$TMP_DIR/${file%.acl}.netset"     acl_file="$TMP_DIR/$file"     grep -vE '^\s*#|^\s*$' "$netset_file" > "$acl_file" done  # Генерируем md5 для файлов declare -A md5s for file in "${files[@]}"; do     md5s["$file"]=$(md5sum "$TMP_DIR/$file" | awk '{ print $1 }') done  # Проверяем наличие файлов в целевой директории и обновляем их при необходимости for file in "${files[@]}"; do     dest_file="$DEST_DIR/$file"     if [[ ! -f "$dest_file" ]] || [[ "$(md5sum "$dest_file" | awk '{ print $1 }')" != "${md5s[$file]}" ]]; then         cp "$TMP_DIR/$file" "$dest_file"         echo "Обновлен файл: $dest_file"     fi done  chown -R haproxy:haproxy /etc/haproxy/firehol/ # Удаляем временную директорию rm -rf "$TMP_DIR"

Данный скрипт сформирует 4 файла в директории /etc/haproxy/firehol

Теперь добавим GeoIP списки IPv4+IPv6
nano /etc/haproxy/scripts/geoip.sh

#!/bin/bash # https://github.com/Loyalsoldier/geoip/blob/release/GeoLite2-Country-Locations-en.csv  GEOIP_ACL="/etc/haproxy/geoip" GEOIP_TEMP="/tmp"   function DownloadDB () {         # Очистим старые файлы:         rm -rf  $GEOIP_TEMP/{*.csv,*.zip}          curl -o $GEOIP_TEMP/geip_csv.zip https://raw.githubusercontent.com/Loyalsoldier/geoip/release/GeoLite2-Country-CSV.zip && \         unzip -j $GEOIP_TEMP/geip_csv.zip -d $GEOIP_TEMP "*IPv4.csv" "*en.csv" "*IPv6.csv"          # Переименуем csv:         find $GEOIP_TEMP -depth -type f -name '*IPv4.csv' -exec mv {} $GEOIP_TEMP/ips4.csv \;         find $GEOIP_TEMP -depth -type f -name '*IPv6.csv' -exec mv {} $GEOIP_TEMP/ips6.csv \;         cat $GEOIP_TEMP/ips4.csv $GEOIP_TEMP/ips6.csv > $GEOIP_TEMP/ips.csv         find $GEOIP_TEMP -depth -type f -name '*en.csv' -exec mv {} $GEOIP_TEMP/countres.csv \; }  function CreateAcl () {         if [ ! -d $GEOIP_ACL ]; then                 mkdir -p $GEOIP_ACL         fi          while read line; do                 COUNTRY_CODE=$(echo $line | cut -d, -f5)                 COUNTRY_ID=$(echo $line | cut -d, -f1)                  CONTINENT_CODE=$(echo $line | cut -d, -f3)                 CONTINENT_ID=$(echo $line | cut -d, -f1)                  # Создадим списки                 cat $GEOIP_TEMP/ips.csv | grep $COUNTRY_ID | cut -d, -f1 > $GEOIP_ACL/$COUNTRY_CODE.list                 cat $GEOIP_TEMP/ips.csv | grep $CONTINENT_ID | cut -d, -f1 > $GEOIP_ACL/$CONTINENT_CODE.acl         done <$GEOIP_TEMP/countres.csv }  DownloadDB CreateAcl rm -rf  $GEOIP_TEMP/{*.csv,*.zip} chown -R haproxy:haproxy /etc/haproxy/geoip/ systemctl restart haproxy

Данный скрипт сформирует файлы со списком IP/подсетей по странам и континентам в директории /etc/haproxy/geoip

Данные скрипты добавим в crontab для обновления например раз в сутки в 4ч утра:
0 4 * * * /etc/haproxy/scripts/firehol.sh && /etc/haproxy/scripts/geoip.sh && systemctl restart haproxy >/dev/null 2>&1

Настроим rate limit и подключим списки firehol, в секцию f_http добавим следующие строки после mode http, rate limit выставим на значение 30, после 30 запросов в течении 10 секунд, будет отклонять трафик с IP который превысил ограничение, в зависимости от сложности сайта limit нужно будет корректировать, для 80 порта ставлю меньше, т.к. там только acme и redirect на https.
через tcp-request connection silent-drop if подключим списки firehol, content будет сохранять для дальнейшего анализа, connection оборвет соединение без записи в журнал.
frontend f_http должен теперь выглядеть вот так:

Справка по tcp-request

tcp-request connection — работает на этапе установления соединения, прежде чем оно будет установлено, и если выполняется reject условие, немедленно завершает попытку подключения это полезно для защиты от явных IP адресов скамеров/спамеров и для защиты от DDoS, должно идти первым правилом.
tcp-request session — работает с установленной сессией TCP, если определенные условия выполняются. Например, для отклонения о превышении rate limit, немедленно завершает установленную сессию.
tcp-request content — используется для отклонения конкретного содержимого, которое передается в рамках уже установленных соединений. Это может быть полезно, для фильтрации определенных данных, например, запреты на конкретные запросы или паттерны.

Так же отличаются и действия:
reject — отклоняет соединение но отправляет клиенту ответ о завершении.
silent-drop — делает тоже что и reject только «тихо» без ответа клиенту.
accept — соответственно разрешает подключение по указанному правилу.
Установив ‘!‘ перед правилом например { src -f /etc/haproxy/geoip/RU.list }, оно будет инвертировано.

frontend f_http         bind *:80         bind [::]:80         mode http      # FireHOL IP List         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level1.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level2.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level3.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/abusers_1d.acl }       # Ограничение запросов, дропаем на раннем этапе для http фронта         stick-table type ip size 1m expire 10s store conn_cur         tcp-request session track-sc0 src         tcp-request session reject if { sc_conn_cur(0) gt 30 }

Теперь добавим в TCP фронтенд ограничение в 240 запросов за 10секунд, и списки firehol
frontend f_tcp должен теперь выглядеть вот так:

frontend f_tcp         bind *:443    # ipv4 SSL Passthrough         bind [::]:443 # ipv6 SSL Passthrough         mode tcp         option tcplog         tcp-request inspect-delay 3s      # FireHOL IP List         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level1.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level2.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level3.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/abusers_1d.acl }       # Ограничим частоту запросов         stick-table type ip size 1m expire 10s store conn_cur         tcp-request session track-sc0 src         tcp-request session reject if { sc_conn_cur(0) gt 240 }         tcp-request session capture req.ssl_sni len 10         tcp-request content capture req.ssl_sni len 10         tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }

Про GeoIP блокировку ее добавить можно так, в секцию f_http и f_tcp внести следующую строку после firehol списков:
tcp-request connection reject if { src -f /etc/haproxy/geoip/AF.acl } тем самым в данном примере заблокировав все подсети Африканского континента, полный список континентов и стран доступен тут, установив ‘!’ перед { src -f /etc/haproxy/geoip/AF.acl } разрешите трафик только от данного региона, и запретите весь остальной, в скрипте есть разделение, континенты с расширением acl, а файлы стран с расширением list.

Маршрутизация по странам настраивается аналогичным образом пример для TCP:
use_backend tcp_ru { req.ssl_sni -i example.ru } { src -f /etc/haproxy/geoip/RU.list }
В данном примере на домен example.ru смогут войти только клиенты с IP входящих в файл RU.list. можно пойти иным путем, например:
use_backend tcp_ru if { src -f /etc/haproxy/geoip/RU.list }
В данном варианте если клиент подключается с IP из Российского списка он будет отправлен на соответствующий backend tcp.

use_backend tcp_by if { src -f /etc/haproxy/geoip/BY.list }
А в данном примере клиенты с IP Белоруссии уйдут на соответствующий backend tcp.
Всех остальных которые не прошли по правилам отправим на дефолтный бекенд:
default_backend default_tcp

Для работы соответственно потребуется создать соответствующие бэкенды перед запуском.

Все тоже самое можно проделать на HTTP фронтэнде, на примере заблокируем клиентов из Белоруссии явно сообщив им об этом ошибкой 403 и текстом и их IP адресом:
http-request deny deny_status 403 content-type text/plain lf-string "Access denied, IP not from whitelist. Your IP %[src]." if { src -f /etc/haproxy/geoip/BY.list }

Или отправим клиентов из России на один бэкенд, а клиентов из Белоруссии на второй, и установим default_backend на тот случай если их IP нет в списках стран, пример:
Для России use_backend http_ru if { src -f /etc/haproxy/geoip/RU.list }
Для Белоруссии use_backend http_by if { src -f /etc/haproxy/geoip/BY.list }
И для тех кто не прошел по правилам стран:
default_backend http_default

Для Haproxy Enterprise (HAPEE) данные действия не требуются, есть модули MaxMind и Digital Element, которые упрощают работу с GeoIP.

Часть 3. mTLS и настройка УЦ для клиентских сертификатов

Первым делом загрузим XCA для удобства управления и выдачи сертификатов, я использую портативную версию, подготовим ROOTCA и SUBCA

При запуске XCA создайте БД, после открытия базы, сообщит что шифрование не безопасно, перейдите в «изменить» и поменяйте на «AES-256-CBC», так же в настройках измените алгоритм подписи по умолчанию на «SHA384» и отключите устаревшие расширения Netscape.

Создадим корневой сертификат для подписи, для этого перейдите в «Сертификаты» и «Новый сертификат»

Инструкция в картинках

Создадим корневой сертификат, которым подпишем промежуточный.

Настройте первоисточник, по умолчанию будет самозаверенный, алгоритм подписи SHA384 и шаблон выберите «CA»

Заполните субъект, в данном случае только внутреннее имя и CN нажмите сгенерировать ключ

Тип ключа выберете EC, и кривую prime256v1 или secp384r1

Настроим расширения, Установим длину цепочки т.е. сколько может быть промежуточных сертификатов, становим Key identifier, настроим срок действия, и SAN, через «редактировать» добавить «Copy CN»

Настроим применения ключа, выставим Critical. Можно сохранять

Теперь выдадим промежуточный

Теперь в «Подписание» укажем что хотим подписать данный сертификат нашим только что созданным корневым сертификатом ROOTCA.

Заполните субъект, создайте ключ по аналогии с корневым сертификатом.

Настройте расширения, идентично как в ROOTCA, с единственным отличием, промежуточный ЦС не будет выдавать сертификаты УЦ, для этого установите длину цепочки как 0

Аналогично ROOTCA

Теперь создадим ключ клиента и подпишем созданным SUBCA

Заполняем первоисточник, выбираем для подписи SUBCA и шаблон TLS_client

Заполним субъект, в CN пишем наименование клиента, в данном примере client, а во внутреннее имя добавлю имя домена, для удобства поиска, создаем ключ.

Обязательно в расширениях ставим все галочки Key indetifier, и так же SAN копируем CN

Установим значения critical.

Теперь можно экспортировать сертификат клиента в формате цепочки PKCS#12 *.pfx

Теперь необходимо установить сертификат в «Личное» для Windows, и для Android в «Сертификаты VPN и приложений»

Теперь необходимо сохранить ROOTCA и SUBCA в файл pem по отдельности, и в один файл, назовем его fullca.pem

Теперь необходимо получить файл revoked.crl, для этого, на SUBCA кликаем ПКМ>ЦС>Сгенерировать CRL, для удобства выставляйте пару лет.

Аналогичные действия и для ROOTCA

Экспортируем SUBCA и ROOTCA в файл revoked.crl именно в таком порядке.

Теперь когда у нас есть файлы ROOTCA.pem, SUBCA.pem, fullca.pem и revoked.crl можем приступать к настройке фронтенда.

В секцию f_tcp под tcp_to_https добавим:
use_backend tcp_to_mtls if { req.ssl_sni -i auth.example.ru }
Теперь добавим backend

backend tcp_to_mtls         mode tcp         server mtls abns@frontendmtls.sock send-proxy-v2-ssl-cn tfo check         retry-on conn-failure empty-response response-timeout

Настроим фронтенд

frontend f_mtls         bind abns@frontendmtls.sock tfo accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 ssl-min-ver TLSv1.3 strict-sni verify required ca-file /etc/haproxy/ca/SUBCA.pem ca-verify-file /etc/haproxy/ca/fullca.pem crl-file /etc/haproxy/ca/revoked.crl crt-ignore-err 10,23          http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         stick-table type ip size 100k expire 5m store http_req_rate(30s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 60 }         http-after-response set-header Strict-Transport-Security "max-age=16000000;"         http-request return status 403 content-type text/plain lf-string "Your certificate has expired, please contact the administrator" if { ssl_c_verify 10 } #text/html file /certexpired.html         http-request return status 403 content-type text/plain lf-string "Your certificate has been revoked, please contact the administrator" if { ssl_c_verify 23 } #text/html file /certrevoked.html         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path /mtls-status-443 }

frontendmtls

verify required — отвечает за обязательную проверку сертификата клиента.
ca-file — файл промежуточного сертификата которым подписаны клиенты.
ca-verify-file — включает в себя корневой сертификат и промежуточный (добавлен в HAProxy 2.2 ), отправляет клиенту более короткий список CA в сообщении SERVER HELLO, который будет использоваться для проверки.
crt-ignore-err — позволяет отвечать клиенту кодом ошибки если код «10» — сертификат истек или еще не наступил, «23» — сертификат отозван.
ssl-min-ver TLSv1.3 — явно указываем TLSv1.3 для защиты клиентского сертификата без отката к TLSv1.2

Создадим для хранения наших файлов директорию:
mkdir /etc/haproxy/ca
Переместим файлы SUBCA.pem fullca.pem и revoked.crl в директорию удобным для вас способом.
Выставим права и владельца:
chmod 700 /etc/haproxy/ca/
chown -R haproxy:haproxy /etc/haproxy/ca/

Проверяем конфигурацию командой haproxy -f /etc/haproxy/haproxy.cfg -c
Если все ок, перезапускаем сервис systemctl restart haproxy

Проверяем через браузер, заходим на auth.example.ru и если у вас появился запрос сертификата а после предоставления сертификата получаете «Status 200 OK! Your IP» значит все сделано правильно. можете добавлять свои пути/домены для маршрутизации, домены соответственно нужно будет добавить и f_tcp например так:
use_backend tcp_to_mtls if { req.ssl_sni -i auth.example.ru } || { req.ssl_sni -i auth2.example.ru }
Или добавить под tcp_to_mtls аналогичную строку только с другим доменом.

Часть 4. Метрики

Подключим выгрузку метрик в Prometheus через встроенный экспортер в Haproxy, для этого есть два пути, 1. через путь в виде { path_beg /path/ } и один домен или через доп домен, так же защитим наш сервис паролем либо mTLS создав дополнительный SUBCA для метрик.

Выгрузка через второй домен, добавляем в f_tcp под tcp_to_mtls
use_backend tcp_to_metrics if { req.ssl_sni -i metrics.example.ru }

Теперь добавим frontend для метрик и секцию с паролем и разрешим подключаться только с Российских IP, в идеале разрешить только подсети вашего провайдера или если есть белый статичный IP разрешить его (метрики так же можно скрыть за mTLS):

frontend f_metrics         bind abns@metricshttps.sock accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 strict-sni tfo          tcp-request connection accept if { src -f /etc/haproxy/geoip/RU.list }          http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         stick-table type ip size 100k expire 5m store http_req_rate(30s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 60 }         http-after-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains;"         http-response set-header X-Content-Type-Options nosniff         http-response set-header X-XSS-Protection 1;mode=block         http-response set-header X-Frame-Options SAMEORIGIN         stats enable         stats uri /path/stats         stats realm Haproxy\ Statistics         stats refresh 10s         stats show-legends         stats hide-version         http-request use-service prometheus-exporter if { path_beg /haproxy-exporter-path/ } userlist metrics         user metrics insecure-password secretpassword

Метрики будут доступны по адресу https://metrics.example.ru/haproxy-exporter-path/metrics
с логином metrics и паролем secretpassword, для Grafana использую панель Haproxy 2 Full (ID 12693)

Так же, легким движением рук можем изменить доступ по паролю на доступ по сертификату для этого подготовим промежуточный УЦ и сделаем клиента для Prometheus по аналогии с mTLS frontend, пример конфигурации:

frontend f_metrics_mtls         bind abns@metricshttps.sock tfo accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 ssl-min-ver TLSv1.3 strict-sni verify required ca-file /etc/haproxy/ca/metrics.pem ca-verify-file /etc/haproxy/ca/metricsfull.pem crl-file /etc/haproxy/ca/metrics.crl crt-ignore-err 10,23         tcp-request connection accept if { src -f /etc/haproxy/geoip/RU.list }          http-request reject if { req.hdr(user-agent) -m sub evil }          http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         stick-table type ip size 100k expire 5m store http_req_rate(30s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 90 }         http-after-response set-header Strict-Transport-Security "max-age=16000000;"         http-request return status 403 content-type text/plain lf-string "Your certificate has expired, please contact the administrator" if { ssl_c_verify 10 }          http-request return status 403 content-type text/plain lf-string "Your certificate has been revoked, please contact the administrator" if { ssl_c_verify 23 }          http-request use-service prometheus-exporter if { path_beg /haproxy-exporter-path/ } # exporter haproxy, ссылка для prometheus ( /path_beg/metrics )  #        use_backend node-exporter if { path_beg -i /node-exporter-path/ } # exporter сервера

Пример конфигурации Prometheus для авторизации по сертификату:

  - job_name: 'Haproxy'     scheme: https     static_configs:       - targets: ['mdata.example.ru:443']     metrics_path: /mypath/metrics     tls_config: #       ca_file: 'ca.crt'        cert_file: 'client.crt'        key_file: 'client.key'

Добавить node-exporter со стандартной установкой на 9100 порту можно так:
В фронтенд метрик добавить use_backend node-exporter if { path_beg -i /node-exporter-path }
Теперь добавим backend, перед передачей на бекенд удалим префикс пути:

backend node-exporter         mode http         http-request replace-path /node-exporter-path(/)?(.*) /\2         server s1 127.0.0.1:9100

Теперь добавим Web статистику вставим следующий например перед фронтедом метрик:

frontend f_stats         bind abns@stats.sock         stats enable         stats uri /stats         stats realm Haproxy\ Statistics         stats refresh 10s         stats show-legends         stats hide-version         stats show-modules backend stats         mode http         http-request replace-path /haproxy(/)?(.*) /\2         server s1 abns@stats.sock

Теперь добавим во фронтенд mTLS правило:
use_backend stats if { path_beg -i /haproxy/ }
Статистика будет доступна по адресу https://auth.example.ru/haproxy/stats

Примеры из Grafana

Часть 5. 3X-UI, Reality TCP, XHTTP и DoH

Для начала создадим пользователя и группу для работы панели
adduser --system --disabled-password --disabled-login --home /usr/local/x-ui --quiet --force-badname --group xray

Для установки выполним:
bash <(curl -Ls https://raw.githubusercontent.com/mhsanaei/3x-ui/master/install.sh)
При установке меняем порт на 49004 или удобный вам.
После завершения скрипт покажет текущую конфигурацию для подключения, адрес пути и логин с паролем, сохраняем пригодиться позже.

После установки проведем настройку:
1. Откроем юнит x-ui на редактирование nano /etc/systemd/system/x-ui.service
Необходимо после [Service] добавить следующие строки:
User=xray Group=haproxy
2. Создадим директорию для Socket: mkdir /var/lib/haproxy/xui
3. Изменим владельца файлов x-ui и директории для Socket:
chown -R xray:xray /etc/x-ui/ chown -R xray:xray /usr/local/x-ui/ chown -R xray:haproxy /var/lib/haproxy/xui
4. Перечитаем конфигурацию systemd: systemctl daemon-reload
5. Перезапустим сервис x-ui и сразу проверим статус работы:
systemctl restart x-ui.service && systemctl status x-ui.service

Перейдем к настройке Haproxy:
В mTLS фронтенд добавляем
use_backend http_3xui if { path_beg /defaultpath/ } || { path_beg /3xui-path }
В defaultpath вставляем путь выданный панелью при установке, можно оставить как есть, во второе правило, которое придумаете сами.
Добавим backend:

backend http_3xui # Админ панель 3X-UI         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         server s1 127.0.0.1:49004 check port 49004

Перезапускаем haproxy и проверяем, если панель открылась перейдем к настройке подключений, создадим TCP REALITY:

Пример настроек inbound

1.Укажем удобное примечание например: tcp_to_reality
2.Протокол: VLESS
3.Порт не меняем
4.Протокол(транспорт): TCP(RAW)
5.Proxy Protocol: Enable
6.Sockopt: Enable
7.TCP Fast Open: Enable
8.TCP Congestion: bbr
9.Tproxy: off
10.External Proxy: enable
[Тот же] [drive.example.ru] [443]Безопасность: Reality
11.Xver: 1
12.uTLS на ваш выбор, у меня firefox
13.Dest (Target): /var/lib/haproxy/fakehttps1.sock
14.SNI: drive.example.ru
15.Sniffing: включить по умолчанию.

Настроим HAProxy, в f_tcp добавим следующую строку под use_backend: use_backend tcp_to_reality if { req.ssl_sni -i drive.example.ru }
Добавим бекенд:

backend tcp_to_reality         mode tcp         server r1 /x-ui/reality.sock send-proxy tfo check         retry-on conn-failure empty-response response-timeout

Теперь добавим фронтенд для маскировки например под nextcloud:

frontend f_https_reality         bind /var/lib/haproxy/fakehttps1.sock accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 ssl-min-ver TLSv1.3 strict-sni mode 660 user haproxy group haproxy         http-request reject if { req.hdr(user-agent) -m sub evil }         acl url_discovery path /.well-known/caldav /.well-known/carddav         http-request redirect location /remote.php/dav/ code 301 if url_discovery         http-request deny if { path -m sub /. }         stick-table type ip size 100k expire 2m store http_req_rate(10s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 240 }         http-response set-header X-Content-Type-Options nosniff         http-response set-header X-XSS-Protection 1;mode=block         http-response set-header X-Frame-Options SAMEORIGIN         http-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains;" # Устанавливаем HSTS         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path / } #        default_backend nextcloud

Сохраняем и проверяем конфигурацию:
haproxy -f /etc/haproxy/haproxy.cfg -c
Если ошибок нет, перезапускаем и проверяем подключение. После разворачиваем nextcloud убираем http-request return status 200 и раскомментируем default_backend nextcloud
Создаем бекенд для nextcloud:

backend nextcloud         mode http         option forwardfor         http-request set-header X-Forwarded-Proto https if { ssl_fc }         http-request set-header X-Forwarded-Proto http if !{ ssl_fc }         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-For %[src]         http-request add-header X-Real-Ip %[src]         server s1 127.0.0.1:49009

Таким образом можно добавить неограниченной количество inbounds

Настроим XHTTP:

Пример

Создаем inbound со следующими настройками:
1. Примечание на ваш выбор.
2. Протокол: VLESS
3. Мониторинг IP: /var/lib/haproxy/x-ui/xhttp1.sock,0660
4. Протокол(транспорт): XHTTP
5. Хост: ваш домен пример: corp.example.ru
6. Путь: /secretpath
7. Mode: auto
8. Sockopt: enable
9. TCP Fast Open: enable
10. External Proxy: enable
[TLS] [corp.example.ru] [443]
11. Безопасность: пусто
12. Sniffing: включить по умолчанию.

Пример в картинках

Добавим во фронтенд f_https:
use_backend xhttp if { req.hdr(host) -i corp.example.ru } { path_beg /secretpathbeg/ } || { path /secretpath }
Добавим бекенд:

backend xhttp # XHTTP: Beyond REALITY         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         retry-on conn-failure empty-response response-timeout         server x /x-ui/xhttp1.sock send-proxy tfo check

Аналогично проверяем конфигурацию HAProxy, и перезапускаем.

Настроим DoH, есть два пути, в docker и без, пойдем вариантом без docker.
Выполняем скрипт:
curl -s -S -L https://raw.githubusercontent.com/AdguardTeam/AdGuardHome/master/scripts/install.sh | sh -s -- -v
Установиться с правами root, остановим сервис systemctl stop AdGuardHome.service,
Настроим конфигурацию: nano /opt/AdGuardHome/AdGuardHome.yaml

AdGuardHome.yaml

http:   pprof:     port: 6060     enabled: false   address: 127.0.0.1:49005   session_ttl: 720h users:   - name: demo     password: $2y$10$9ho8XPNKtOBVRlfgQV8CFOVCOsFVpjXAHZRzICh0PDBA.dsaCbioO auth_attempts: 5 block_auth_min: 15 http_proxy: "" language: "" theme: auto dns:   bind_hosts:     - 127.0.0.2   port: 53   anonymize_client_ip: false   ratelimit: 20   ratelimit_subnet_len_ipv4: 24   ratelimit_subnet_len_ipv6: 56   ratelimit_whitelist: []   refuse_any: true   upstream_dns:     - 127.0.0.53   upstream_dns_file: ""   bootstrap_dns:     - 9.9.9.10     - 149.112.112.10     - 2620:fe::10     - 2620:fe::fe:10   fallback_dns: []   upstream_mode: load_balance   fastest_timeout: 1s   allowed_clients: []   disallowed_clients: []   blocked_hosts:     - version.bind     - id.server     - hostname.bind   trusted_proxies:     - 127.0.0.0/8     - ::1/128   cache_size: 4194304   cache_ttl_min: 0   cache_ttl_max: 0   cache_optimistic: false   bogus_nxdomain: []   aaaa_disabled: false   enable_dnssec: false   edns_client_subnet:     custom_ip: ""     enabled: false     use_custom: false   max_goroutines: 300   handle_ddr: true   ipset: []   ipset_file: ""   bootstrap_prefer_ipv6: false   upstream_timeout: 10s   private_networks: []   use_private_ptr_resolvers: true   local_ptr_upstreams: []   use_dns64: false   dns64_prefixes: []   serve_http3: false   use_http3_upstreams: false   serve_plain_dns: true   hostsfile_enabled: true tls:   enabled: false   server_name: ""   force_https: false   port_https: 0   port_dns_over_tls: 0   port_dns_over_quic: 0   port_dnscrypt: 0   dnscrypt_config_file: ""   allow_unencrypted_doh: true   certificate_chain: ""   private_key: ""   certificate_path: ""   private_key_path: ""   strict_sni_check: false querylog:   dir_path: ""   ignored: []   interval: 2160h   size_memory: 1000   enabled: true   file_enabled: true statistics:   dir_path: ""   ignored: []   interval: 24h   enabled: true filters:   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_1_Russian/filter.txt     name: Ru filter     id: 1736931102   - enabled: false     url: https://raw.githubusercontent.com/rebelion76/bankiru_plus_adblock_list/master/bankiru_plus.txt     name: bankiru_plus     id: 1736931124   - enabled: false     url: https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/CountryCodesLists/Russia.txt     name: Подписки RU     id: 1736931125   - enabled: false     url: https://easylist-downloads.adblockplus.org/ruadlist.txt     name: ruadlist     id: 1736931126   - enabled: false     url: https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/RU-AdList.txt     name: RU-AdList     id: 1736931127   - enabled: false     url: https://easylist-downloads.adblockplus.org/cntblock.txt     name: RU Adlist Counters     id: 1736931128   - enabled: false     url: https://gist.githubusercontent.com/drewpayment/4a316423f7ff7df9dce63a041c478486/raw/6a509d262d7dd687c645349be3fc6217c0764768/AdGuard%2520Russian%2520filter%2520-%2520Rules.txt      name: AdGuard Russian filter     id: 1736931118   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_1.txt     name: AdGuard DNS filter     id: 1   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_2.txt     name: AdAway Default Blocklist     id: 2   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_4.txt     name: Dan Pollock's List     id: 1736931097   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_30.txt     name: Phishing URL Blocklist (PhishTank and OpenPhish)     id: 1736931098   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_50.txt     name: uBlock₀ filters – Badware risks     id: 1736931099   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_33.txt     name: Steven Black's List     id: 1736931100   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_59.txt     name: AdGuard DNS Popup Hosts filter     id: 1736931101   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_3_Spyware/filter.txt     name: Spyware     id: 1736931103   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_17_TrackParam/filter.txt     name: Trackers     id: 1736931104   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_15_DnsFilter/filter.txt     name: Ad Guard filter     id: 1736931107   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_11_Mobile/filter.txt     name: Mobile     id: 1736931108   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_21_Annoyances_Other/filter.txt     name: Раздражающие элементы     id: 1736931109   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_22_Annoyances_Widgets/filter.txt     name: Widgets     id: 1736931110   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_20_Annoyances_MobileApp/filter.txt     name: Widgets_Mobile     id: 1736931111   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_19_Annoyances_Popups/filter.txt     name: Всплывайки сайты     id: 1736931112   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_23.txt     name: Windows Spy list     id: 1736931113   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_8.txt     name: nocoin     id: 1736931114   - enabled: false     url: https://blocklistproject.github.io/Lists/smart-tv.txt     name: smart-tv     id: 1736931115   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_49.txt     name: HaGeZi's Ultimate Blocklist     id: 1736931116   - enabled: false     url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_27.txt     name: OISD Blocklist Big     id: 1736931117   - enabled: false     url: https://raw.githubusercontent.com/hant0508/uBlock-filters/master/filters.txt     name: uBlock-filters     id: 1736931119   - enabled: false     url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_10_Useful/filter.txt     name: AdguardTeam     id: 1736931120   - enabled: false     url: https://filters.adtidy.org/extension/chromium-mv3/filters/24.txt     name: AdGuard Quick Fixes filter MV3     id: 1736931121   - enabled: false     url: https://gitlab.com/eyeo/anti-cv/abp-filters-anti-cv/-/raw/master/russian.txt     name: Russian anti-cv     id: 1736931122   - enabled: false     url: https://filters.adtidy.org/extension/ublock/filters/1_optimized.txt     name: ublock optimized     id: 1736931123 whitelist_filters: [] user_rules: [] dhcp:   enabled: false   interface_name: ""   local_domain_name: lan   dhcpv4:     gateway_ip: ""     subnet_mask: ""     range_start: ""     range_end: ""     lease_duration: 86400     icmp_timeout_msec: 1000     options: []   dhcpv6:     range_start: ""     lease_duration: 86400     ra_slaac_only: false     ra_allow_slaac: false filtering:   blocking_ipv4: ""   blocking_ipv6: ""   blocked_services:     schedule:       time_zone: Local     ids: []   protection_disabled_until: null   safe_search:     enabled: false     bing: true     duckduckgo: true     ecosia: true     google: true     pixabay: true     yandex: true     youtube: true   blocking_mode: default   parental_block_host: family-block.dns.adguard.com   safebrowsing_block_host: standard-block.dns.adguard.com   rewrites: []   safe_fs_patterns:     - /opt/AdGuardHome/userfilters/*   safebrowsing_cache_size: 1048576   safesearch_cache_size: 1048576   parental_cache_size: 1048576   cache_time: 30   filters_update_interval: 24   blocked_response_ttl: 10   filtering_enabled: true   parental_enabled: false   safebrowsing_enabled: false   protection_enabled: true clients:   runtime_sources:     whois: true     arp: true     rdns: true     dhcp: true     hosts: true   persistent: [] log:   enabled: true   file: ""   max_backups: 0   max_size: 100   max_age: 3   compress: false   local_time: false   verbose: false os:   group: ""   user: ""   rlimit_nofile: 0 schema_version: 29

Основное изменение это включение allow_unencrypted_doh: true
для данного примера, логин и пароль demo, и используется системный резолвер, порт панели 49005, добавлены списки для блокировки, по умолчанию отключены.

Подготовим HAProxy, во фронтенд f_tcp добавим следующую строку:
use_backend tcp_to_mtls if { req.ssl_sni -i ns1.example.ru }

Для понижения прав, необходимо или понизить привилегированный порт, или поднять порт dns например на 5353.

В f_https добавим:
use_backend http_adh if { ssl_fc_sni -i corp.example.ru } { path_beg -i /secretpathdns/ }
Добавим бэкенд:

backend http_adh # DOH AdGuardHome         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         http-request replace-path /secretpath(/)?(.*) /\2         server dns 127.0.0.1:49005 check port 49005

{ path_beg -i /secretpathdns/ } нужен для защиты dns-query, перед отправкой на бекенд путь будет удален, и запрос дойдет без ошибок к DoH, адрес для DoH следующий https://corp.examle.ru/secretpath/dns-query

Теперь же пришло добавить панель управления AdGuardHome, в f_tcp добавим следующую строку:
use_backend tcp_to_mtls if { req.ssl_sni -i ns1.example.ru }
Теперь внесем в f_mtls следующую строку:
use_backend http_adh if { ssl_fc_sni -i ns1.example.ru }

Снова проверяем конфигурацию и перезагружаем HAProxy.

Основное изменение это включение allow_unencrypted_doh: true для данного примера, логин и пароль demo, и используется системный резолвер, порт панели 49005

Подготовим HAProxy, во фронтенд f_tcp добавим следующую строку:
use_backend tcp_to_mtls if { req.ssl_sni -i ns1.example.ru }

Для понижения прав, необходимо или понизить привилегированный порт, или поднять порт dns например на 53535, создать пользователя, и необходимо изменить следующие:
os: group: "" user: ""
На созданного пользователя: например adguard:
os: group: adguard user: adguard

В f_https добавим:
use_backend http_adh if { ssl_fc_sni -i corp.example.ru } { path_beg -i /secretpathdns/ }
Добавим бэкенд:

backend http_adh # DOH AdGuardHome         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         http-request replace-path /secretpath(/)?(.*) /\2         server dns 127.0.0.1:49005 check port 49005

{ path_beg -i /secretpathdns/ } нужен для защиты dns-query, перед отправкой на бекенд путь будет удален, и запрос дойдет без ошибок к DoH, адрес для DoH следующий https://corp.examle.ru/secretpath/dns-query Теперь же пришло добавить панель управления AdGuardHome, в f_tcp добавим следующую строку: use_backend tcp_to_mtls if { req.ssl_sni -i ns1.example.ru } Теперь внесем в f_mtls следующую строку: use_backend http_adh if { ssl_fc_sni -i ns1.example.ru } Снова проверяем конфигурацию и перезагружаем HAProxy.

Итог по 3X-UI панель работает за mTLS, кроме сервиса подписки, она доступна из вне по длинному пути, сами inbound работают через unix socket что должно обеспечить более высокую производительность в связке с TFO, REALITY развернут методом steal-oneself, при котором мы не зависим от чужого сайта/сертификата, ответ более быстрый, следовательно работать будет быстрее.

Часть 6. Установка сертификата

Для выпуска сертификата для сервиса, потребуется сделать следующие на примере ocserv:
1. Создаем директорию: mkdir /etc/ocserv/ssl
2. Добавляем пользователя acme в группу ocserv: adduser acme ocserv
3. Меняем владельца: chown ocserv:ocserv /etc/ocserv/ssl
4.Изменяем права: chmod 770 /etc/ocserv/ssl

Переключаемся на пользователя acme: sudo -u acme -s

Получим сертификат: acme.sh --issue -d example.com --stateless
Установим сертификат и перезапустим ocserv:

acme.sh --install-cert -d example.ru \ --cert-file /etc/ocserv/ssl/example.ru.pem \ --key-file /etc/ocserv/ssl/example.ru.key \ --fullchain-file /etc/ocserv/ssl/fullchain.ru.pem \ --reloadcmd "systemctl restart ocserv"

На этом все, проделываем аналогичным способом для ваш сервисов.

Заключение

В данной статье показал пример как можно защитить сервисы за mTLS, пример работы с GeoIP выгрузка в Prometheus из HAProxy exporter, и обновил информацию по REALITY.

В статье используется множество поддоменов, поменяйте на свои соответственно, аналогично и с path.

Полный конфигурации haproxy.cfg

global         log /dev/log    local0         log /dev/log    local1 notice         chroot /var/lib/haproxy         stats socket /var/run/haproxy/admin.sock level admin mode 660         setenv ACCOUNT_THUMBPRINT '*ACCOUNT_THUMBPRINT*' # поменять на полученный из acme         stats timeout 30s         user    haproxy         group   haproxy         daemon     # https://ssl-config.mozilla.org/     # Улучшенная безопастность и совместимость со старыми браузерами ( Intermediate ) Supports Firefox 27, Android 4.4.2, Chrome 31, Edge, IE 11 on Windows 7, Java 8u31, OpenSSL 1.0.1, Opera 20, Safari 9         ssl-default-bind-curves X25519:prime256v1:secp384r1 #:secp521r1:X448         ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305         ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256         ssl-default-bind-options prefer-client-ciphers ssl-min-ver TLSv1.2 no-tls-tickets          ssl-default-server-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305          ssl-default-server-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256         ssl-default-server-options ssl-min-ver TLSv1.2 no-tls-tickets      # TLS 1.3 современная безопасность без отката к TLS 1.2  ( Modern ) Supports Firefox 63, Android 10.0, Chrome 70, Edge 75, Java 11, OpenSSL 1.1.1, Opera 57, Safari 12.1 #        ssl-default-bind-curves X25519:prime256v1:secp384r1 #        ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256 #        ssl-default-bind-options prefer-client-ciphers ssl-min-ver TLSv1.3 no-tls-tickets  #        ssl-default-server-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256 #        ssl-default-server-options ssl-min-ver TLSv1.3 no-tls-tickets          ssl-dh-param-file /etc/haproxy/dh4096.pem # openssl dhparam -out /etc/haproxy/dh4096.pem 4096 #        tune.ssl.default-dh-param 2048       # Тюнинг http/2         tune.h2.initial-window-size 536870912 # Увеличиваем начальный размер окна для входящих и исходящих соединений.         tune.h2.fe.max-concurrent-streams 512 # Установим кол-во одновременных потоков на входящие соединений.         tune.h2.be.max-concurrent-streams 512 # Установим кол-во одновременных потоков на исходящие соединений. #------------------------------------------ defaults        log global        mode http        option httplog        option dontlognull        timeout connect 40s        timeout client  1m        timeout server  1m        timeout tunnel 1h        timeout http-request 30s        errorfile 400 /etc/haproxy/errors/400.http        errorfile 403 /etc/haproxy/errors/403.http        errorfile 408 /etc/haproxy/errors/408.http        errorfile 500 /etc/haproxy/errors/500.http        errorfile 502 /etc/haproxy/errors/502.http        errorfile 503 /etc/haproxy/errors/503.http        errorfile 504 /etc/haproxy/errors/504.http #------------------------------------------ resolvers dnsserver         nameserver ns1 127.0.0.1:53         parse-resolv-conf         resolve_retries       3         timeout resolve       1s         timeout retry         1s         hold other           30s         hold refused         30s         hold nx              30s         hold timeout         30s         hold valid           10s         hold obsolete        30s #----------------------------------- frontend f_http         bind *:80         bind [::]:80         mode http      # FireHOL IP List         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level1.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level2.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level3.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/abusers_1d.acl }      # Ограничение запросов, дропаем на раннем этапе для http фронта         stick-table type ip size 1m expire 10s store conn_cur         tcp-request session track-sc0 src         tcp-request session reject if { sc_conn_cur(0) gt 60 }      # отклоним невалидные юзер агенты         http-request reject if { req.hdr(user-agent) -m len le 32 }         http-request reject if { req.hdr(user-agent) -m sub evil }      # ответим на запрос ACME         http-request return status 200 content-type text/plain lf-string "%[path,field(-1,/)].${ACCOUNT_THUMBPRINT}\n" if { path_beg '/.well-known/acme-challenge/' }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         http-request redirect scheme https code 301 unless { ssl_fc } #------------------------------------------ frontend f_tcp         bind *:443    # ipv4 SSL Passthrough         bind [::]:443 # ipv6 SSL Passthrough         mode tcp         option tcplog         tcp-request inspect-delay 3s      # FireHOL IP List         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level1.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level2.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/level3.acl }         tcp-request connection silent-drop if { src -f /etc/haproxy/firehol/abusers_1d.acl }      # Ограничим частоту запросов         stick-table type ip size 1m expire 10s store conn_cur         tcp-request content track-sc0 src         tcp-request content reject if { sc_conn_cur(0) gt 240 }         tcp-request content capture req.ssl_sni len 10         tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }      # Правила сопостовления          use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { payload(0,7) -m bin 5353482d322e30 } or !{ req.ssl_hello_type 1 } { req.len 0 }          use_backend tcp_to_https if { req.ssl_sni -i corp.example.ru }          use_backend tcp_to_reality if { req.ssl_sni -i drive.example.ru }          use_backend tcp_to_metrics if { req.ssl_sni -i metrics.example.ru }          use_backend tcp_to_mtls if { req.ssl_sni -i auth.example.ru } || { req.ssl_sni -i ns1.example.ru }  #        use_backend tcp_to_ocserv if { req.ssl_sni -i example.ru } #------------------------------------------ frontend f_https #          bind abns@frontendhttps.sock accept-proxy ssl crt /etc/haproxy/certs/ ssl crt /etc/haproxy/ssl/ alpn h2,http/1.1 strict-sni tfo         http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         http-response set-header X-Content-Type-Options nosniff         http-response set-header X-XSS-Protection 1;mode=block         http-response set-header X-Frame-Options SAMEORIGIN         http-after-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains;" # Устанавливаем HSTS         stick-table type ip size 100k expire 5m store http_req_rate(10s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 300 }         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path /https-status-443 }          use_backend http_3xui_sub if { ssl_fc_sni -i corp.example.ru } { path_beg /sub-path/ } || { path_beg /jsub-path/ }         use_backend xhttp if { req.hdr(host) -i corp.example.ru } { path_beg -i /secretpath/ } || { path_beg -i /secretpath }          use_backend http_adh if { ssl_fc_sni -i corp.example.ru } { path_beg -i /secretpathdns/ } # { path_beg /dns-query/ }  #        use_backend websocket if { req.hdr(Host) -i corp.example.ru } { path /ws } || { path_beg /ws/ }  frontend f_mtls # Административный доступ         bind abns@frontendmtlsadm.sock accept-proxy alpn h3,h2,http/1.1 tfo ssl-min-ver TLSv1.3 ssl crt /etc/haproxy/certs/ verify required ca-file /etc/haproxy/ca/ca.pem ca-verify-file /etc/haproxy/ca/fullca.pem crl-file /etc/haproxy/ca/revoked.crl crt-ignore-err 10,23         http-request silent-drop if { path_end /dns-query } || { path_beg /dns-query/ }         http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         http-after-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains;" # Устанавливаем HSTS         http-request return status 403 content-type text/plain lf-string "Your certificate has expired, please contact the administrator" if { ssl_c_verify 10 }         http-request return status 403 content-type text/plain lf-string "Your certificate has been revoked, please contact the administrator" if { ssl_c_verify 23 }         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path /https-status-443 }          use_backend http_3xui if { ssl_fc_sni -i corp.example.ru } { path_beg /defaultpath/ } || { path_beg /3xui-path }         use_backend stats if { path_beg -i /haproxy/ }         use_backend http_adh if { ssl_fc_sni -i ns1.example.ru }  #-- Statistics ---------------------------- frontend f_metrics_mtls         bind abns@metricshttps.sock tfo accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 ssl-min-ver TLSv1.3 strict-sni verify required ca-file /etc/haproxy/ca/metrics.pem ca-verify-file /etc/haproxy/ca/metricsfull.pem crl-file /etc/haproxy/ca/metrics.crl crt-ignore-err 10,23         tcp-request connection accept if { src -f /etc/haproxy/geoip/RU.list }         http-request reject if { req.hdr(user-agent) -m sub evil }         http-request deny if { path -m sub /. } # запрет доступа к скрытым файлам         stick-table type ip size 100k expire 5m store http_req_rate(30s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 90 }         http-after-response set-header Strict-Transport-Security "max-age=16000000;"         http-request return status 403 content-type text/plain lf-string "Your certificate has expired, please contact the administrator" if { ssl_c_verify 10 }         http-request return status 403 content-type text/plain lf-string "Your certificate has been revoked, please contact the administrator" if { ssl_c_verify 23 }         http-request use-service prometheus-exporter if { path_beg /haproxy-exporter-0835n-rm05v-g1nry-r8h-h7dn-gu8v/ } # exporter haproxy, ссылка для prometheus ( /path_beg/metrics )          use_backend node-exporter if { path_beg -i /node-exporter-4umx-2nf46x3-qghy-7b3o-zxca-jte/ } # exporter сервера backend node-exporter         mode http         http-request replace-path /node-exporter-4umx-2nf46x3-qghy-7b3o-zxca-jte(/)?(.*) /\2         server s1 127.0.0.1:9100 frontend f_stats         bind abns@stats.sock         stats enable         stats uri /stats         stats realm Haproxy\ Statistics         stats refresh 10s         stats show-legends         stats hide-version         stats show-modules backend stats         mode http         http-request replace-path /haproxy(/)?(.*) /\2         server s1 abns@stats.sock #------------------------------------------ frontend f_https_reality         bind /var/lib/haproxy/fakehttps1.sock accept-proxy ssl crt /etc/haproxy/certs/ alpn h2,http/1.1 strict-sni mode 660 user haproxy group haproxy ssl-min-ver TLSv1.3         http-request reject if { req.hdr(user-agent) -m sub evil }         acl url_discovery path /.well-known/caldav /.well-known/carddav         http-request redirect location /remote.php/dav/ code 301 if url_discovery         http-request deny if { path -m sub /. }         stick-table type ip size 100k expire 2m store http_req_rate(10s)         http-request track-sc0 src         http-request deny deny_status 429 if { sc_http_req_rate(0) gt 240 }         http-response set-header X-Content-Type-Options nosniff         http-response set-header X-XSS-Protection 1;mode=block         http-response set-header X-Frame-Options SAMEORIGIN         http-response set-header Strict-Transport-Security "max-age=16000000;" # Устанавливаем HSTS         http-request return status 200 content-type text/plain lf-string "Status 200 OK! Your IP %[src]." if { path / } #        default_backend nextcloud #------- BACKEND -------------------------- #[ TCP Passthrough backend tcp-ssh # Бекенд для SSH         mode tcp         option http-keep-alive         timeout http-keep-alive 30s         server ssh 127.0.0.1:22 check port 22  #backend tcp_to_ocserv #  #        mode tcp #        server oc 127.0.0.1:48658 check port 48658 send-proxy  backend tcp_to_https #          mode tcp         server s1 abns@frontendhttps.sock send-proxy-v2-ssl-cn tfo check          retry-on conn-failure empty-response response-timeout  backend tcp_to_reality          mode tcp         server reality1 /x-ui/reality1.sock send-proxy tfo check         retry-on conn-failure empty-response response-timeout  backend tcp_to_mtls         mode tcp         server mtls abns@frontendmtlsadm.sock send-proxy-v2-ssl-cn tfo check         retry-on conn-failure empty-response response-timeout  backend tcp_to_metrics         mode tcp         server metrics abns@metricshttps.sock send-proxy-v2 tfo check         retry-on conn-failure empty-response response-timeout  backend http_3xui # Админ панель 3X-UI         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         server 3xui 127.0.0.1:49004 check port 49004  backend http_3xui_sub # подписка 3х         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         server 3xsub 127.0.0.1:49007 check port 49007  backend xhttp # XHTTP: Beyond REALITY         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         retry-on conn-failure empty-response response-timeout         server xhttp1 /x-ui/xhttp1.sock send-proxy tfo check  backend http_adh # DOH AdGuardHome         mode http         option forwardfor if-none         http-request add-header X-Real-Ip %[src]         http-request set-header Host %[req.hdr(Host)]         http-request set-header X-Forwarded-For %[src]         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-Proto https if { ssl_fc }         http-request replace-path /secretpathdns(/)?(.*) /\2         server dns 127.0.0.1:49005 check port 49005  #backend http_site1 # Apache2 #        mode http #        option httpchk #        http-check expect status 200 #        option forwardfor if-none #        http-request add-header X-Real-Ip %[src] #        http-request set-header Host %[req.hdr(Host)] #        http-request set-header X-Forwarded-For %[src] #        http-request set-header X-Forwarded-Host %[req.hdr(host)] #        http-request set-header X-Forwarded-Proto https if { ssl_fc } #        server ap2 127.0.0.1:8080 check  backend nextcloud #         mode http         option forwardfor         http-request set-header X-Forwarded-Proto https if { ssl_fc }         http-request set-header X-Forwarded-Proto http if !{ ssl_fc }         http-request set-header X-Forwarded-Host %[req.hdr(host)]         http-request set-header X-Forwarded-For %[src]         http-request add-header X-Real-Ip %[src]         http-response set-header Strict-Transport-Security max-age=157680000;         server nextcloud 127.0.0.1:49009 #check port 49009  # --- IP List ------------------------------- # Range 48658—48999 - TCP // 49001—49100 - http сервисы // 49101-49150 - WS

ссылка на оригинал статьи https://habr.com/ru/articles/904038/