Nginx VTS Stats, Mockify — mock API, сравнение Wiremock и Mockify

В этом посте я хотел сделать демо Nginx VTS + Prometheus + Grafana. Для демо необходимо было чтобы upstream могли выдавать разные http коды. Это могли сделать следующие проекты: Mockify, написанный на Golang, и WireMock, написанный на Java.

Небольшое оглавление

• установка и настройка Nginx VTS + Prometheus + Grafana;
• Mockify — легкое, конфигурируемое эмулирование API, написанное на Golang;
• Сравнение использования CPU для Mockify, написанный на Golang, и WireMock, написанный на Java.

Тестовый стенд виртуальная машина:

inxi CPU: 8x Single Core Intel Xeon E312xx (Sandy Bridge) (-SMP-) speed: 2594 MHz Kernel: 3.10.0-957.1.3.el7.x86_64 x86_64 Up: 58m  Mem: 474.9/32011.6 MiB (1.5%) Storage: 80.00 GiB (2.7% used) Procs: 149 Shell: bash 4.2.46 inxi: 3.0.35 

Конфиг prometheus:

global:   scrape_interval:     5s # Set the scrape interval to every 15 seconds. Default is every 1 minute.   evaluation_interval: 5s # Evaluate rules every 15 seconds. The default is every 1 minute.   # scrape_timeout is set to the global default (10s).  # Alertmanager configuration alerting:   alertmanagers:   - static_configs:     - targets:       # - alertmanager:9093  # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files:   # - "first_rules.yml"   # - "second_rules.yml"  scrape_configs:   - job_name: 'prometheus'     static_configs:     - targets: ['localhost:9090']   - job_name: ‘nginx_vts_exporter’     static_configs:     - targets: ['localhost:9913']

Конфиг Grafana стандартный. ID дашборда 2949.

Для Nginx VTS нужно скомпилировать nginx с модулем nginx-module-vts. Делаем это с помощью Nginx-builder. Его конфиг:

nginx_version: 1.16.1 output_package: rpm modules:   - module:       name: nginx-module-vts       git_url: https://github.com/vozlt/nginx-module-vts.git       git_tag: v0.1.18

Устанавливаем собранный nginx. Вот его главный конфиг (не забываем указать vhost_traffic_status_zone;):

user  nginx; worker_processes  auto; worker_rlimit_nofile 40960;  error_log  /var/log/nginx/error.log warn; pid        /var/run/nginx.pid;  events {     use epoll;     worker_connections 1024;     multi_accept on; }  http {     vhost_traffic_status_zone;     include       /etc/nginx/mime.types;     default_type  application/octet-stream;      log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                       '$status $body_bytes_sent "$http_referer" '                       '"$http_user_agent" "$http_x_forwarded_for"';      #access_log /var/log/nginx/access.log main;     access_log off;     sendfile on;     tcp_nodelay on;     tcp_nopush on;     keepalive_timeout  65;     include /etc/nginx/conf.d/*.conf;     open_file_cache max=200000 inactive=20s;     open_file_cache_valid 30s;     open_file_cache_min_uses 2;     open_file_cache_errors on; }

Создаем конфиги виртуальных хостов:

touch vhost1.conf  vhost2.conf  vhost3.conf  vhost4.conf  vhost5.conf

Их содержимое:

vhost1.conf:

server {         listen   80;         server_name vhost1;         location / {                 proxy_pass http://127.0.0.1:8001/102;         } }

vhost2.conf:

server {         listen   80;         server_name vhost2;         location / {                 proxy_pass http://127.0.0.1:8001/204;         } }

vhost3.conf:

server {         listen   80;         server_name vhost3;         location / {                 proxy_pass http://localhost:8001/304;         } }

vhost4.conf:

server {         listen   80;         server_name vhost4;         location / {                 proxy_pass http://localhost:8001/403;         } }

vhost5.conf:

server {         listen   80;         server_name vhost5;         location / {                 proxy_pass http://localhost:8001/503;         } }

Устанавливаем nginx-vts-exporter:

wget https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz tar zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz cp nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter /usr/local/bin/nginx-vts-exporter

Создаем файл /etc/systemd/system/nginx_vts_exporter.service:

[Unit] Description=Nginx vts exporter   Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/local/bin/nginx-vts-exporter -nginx.scrape_uri=http://localhost:7070/status/format/json Restart=always RestartSec=3 [Install] WantedBy=default.target

Создаем файл конфигурации VTS /etc/nginx/conf.d/vts-exporter.conf

server {  listen 7070;  listen [::]:7070;   location / {  }   location /status {    vhost_traffic_status_display;    vhost_traffic_status_display_format html;   }  }

Добавляем DNS виртуальных хостов в /etc/hosts:

127.0.0.1 vhost1 127.0.0.1 vhost2 127.0.0.1 vhost3 127.0.0.1 vhost4 127.0.0.1 vhost5

Оптизируем ядро для тестирования, так как wiremock выдавал timeout при большом количестве соединений. Сейчас может оно и не нужно, так как уменьшил количество соединений при запуске apache benchmark. Создаем файл /etc/sysctl.d/90-nginx.conf с содержимым:

fs.file-max=100000 net.netfilter.nf_conntrack_max=1548576 net.ipv4.ip_local_port_range=10000 65000 net.ipv4.tcp_tw_reuse=1 net.core.somaxconn=15600 net.ipv4.tcp_fin_timeout=15 net.ipv4.tcp_tw_recycle=1 net.core.rmem_default=31457280 net.core.rmem_max=12582912 net.core.wmem_default=31457280 net.core.wmem_max=12582912 net.core.netdev_max_backlog=65536 net.core.optmem_max=25165824 net.ipv4.tcp_rmem=8192 87380 16777216 net.ipv4.udp_rmem_min=16384 net.ipv4.tcp_wmem=8192 65536 16777216

Применяем настройки

sysctl -p /etc/sysctl.d/90-nginx.conf 

Устанавливаем mockify-rpm

yum -y install yum-plugin-copr yum copr enable antonpatsev/mockify-rpm yum -y install mockify systemctl start mockify

Устанавливаем Apache Benchmark:

yum install -y httpd-tools

Запускаем небольшое тестирование nginx:

while true; do ab -c 1 -n 1 -t 1 http://vhost1/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost2/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost3/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost4/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost5/; sleep 2; done

Cкриншоты:

Установка wiremock:

yum -y install yum-plugin-copr yum copr enable antonpatsev/wiremock-rpm yum -y install wiremock wiremock-popular-json systemctl start wiremock

Также в файлах vhost1-vhost5 в nginx нужно поменять порт с 8001 на 8080.

Прошу прощения за неровные скриншоты.

Ниже загрузка CPU и MEM mockify при тестировании vhost1-vhost5

Ниже загрузка CPU и MEM wiremock при тестировании vhost1

Ниже загрузка CPU и MEM wiremock при тестировании vhost1-vhost2

Ниже загрузка CPU и MEM wiremock при тестировании vhost1-vhost3

Ниже загрузка CPU и MEM wiremock при тестировании vhost1-vhost4

Ниже загрузка CPU и MEM wiremock при тестировании vhost1-vhost5. Иногда нагрузка на CPU выростала до 700%.

Выводы:

По Nginx VTS хотелось бы больше метрик без правок конфигов.

По Wiremock vs Mockify: используйте Mockify. Он меньше использует CPU и MEM.

И напоследок сборка Golang приложений в Fedora Copr на примере Mockify.

В качестве примера используйте репозиторий https://github.com/patsevanton/mockify-rpm.