Производительность RemoteFX, часть 1

• Кратко о RemoteFX

• Конфигурация тестовой среды

  • Сервер

  • Клиент

• Выбор показателей для измерений

• Методика тестирования

  • Тест #1: ввод текста

  • Тест #2: ввод текста + 3D BenchMark

  • Тест #3: ввод текста + просмотр локальных видеофайлов

  • Тест #4: ввод текста + просмотр youtube-ролика

• Обработка данных и построение графиков

• Анализ результатов и наиболее интересные графики

  • Задержки при обработке ввода от пользователя

  • Частота кадров

  • Общие сетевые метрики

  • Загрузка центрального процессора

  • Загрузка видеокарты

• Выводы

• Что дальше

• Список источников

• Приложения

  • Переопределение групп сбора данных: _1_task_define.cmd

  • Принудительная остановка записи данных: _1_task_breake.cmd

  • Конвертация двоичных данных в CSV: blg2csv.cmd

  • Нормализация заголовков CSV: blg2csv.ps1

  • Jupiter Notebook: импорт данных

  • Jupiter Notebook: отрисовка одной метрики на диаграмму

  • Jupiter Notebook: отрисовка всех метрик на одной диаграмме

  • Диаграмма со всеми графиками

• \Графика RemoteFX(*)\Качество кадра

• \Графика RemoteFX(*)\Исходящих кадров в секунду

• \Графика RemoteFX(*)\Входящих кадров в секунду

• \Графика RemoteFX(*)\Среднее время кодирования

• \Графика RemoteFX(*)\Коэффициент сжатия графических данных

• \Графика RemoteFX(*)\Пропущено кадров в секунду — у сервера недостаточно ресурсов

• \Графика RemoteFX(*)\Пропущено кадров в секунду — недостаточно сетевых ресурсов

• \Графика RemoteFX(*)\Пропущено кадров в секунду — у клиента недостаточно ресурсов

• \Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода

• \Сведения о процессоре(_Total)\% загруженности процессора

• \NVIDIA GPU(*)\% Video Decoder Usage

• \NVIDIA GPU(*)\% Video Encoder Usage

• \NVIDIA GPU(*)\% GPU Memory Usage

• \NVIDIA GPU(*)\% GPU Usage

• \NVIDIA GPU(*)\% FB Usage

• \Сеть RemoteFX(*)\Потери

• \Сеть RemoteFX(*)\Общая скорость отправки

• \Сеть RemoteFX(*)\Общая скорость приема

• \Сеть RemoteFX(*)\Скорость отправки TCP-данных

• \Сеть RemoteFX(*)\Скорость отправки UDP-данных

• \Сеть RemoteFX(*)\Общая скорость приема

• \Сеть RemoteFX(*)\Скорость получения TCP-данных

• \Сеть RemoteFX(*)\Скорость получения UDP-данных

• \Сеть RemoteFX(*)\Пропускная способность текущего TCP-подключения

• \Сеть RemoteFX(*)\Пропускная способность текущего UDP-подключения

• \Память\% использования выделенной памяти

• \Память\Доступно байт

• Настройка ускорения графического процессора (GPU) для виртуального рабочего стола Windows

• Диагностика проблем производительности графики удалённого рабочего стола

• Рекомендация по тестированию взята из хоть и старого, но очень подробного описания RemoteFX

• Про лимиты FPS

• Сброс кэша счётчиков

• Как сделать работу с Microsoft Remote Desktop лучше. Ветка комментариев про UDP, TCP, потери и т.д. В самой статье есть ссылки на спецификации мультитранспортного расширения для протокола RDP

@echo off setlocal EnableDelayedExpansion  @REM для сбора используются счётчики, перечисленные в _1_counters.cfg @REM счётчики называются только на английском, на русском это просто описание @REM  @REM запуск сбора данных: @REM    при каждом входе на удалённый рабочий стол исправить _1_counters.cfg: @REM    1)  посмотреть номер своей терминальной сессии консольной командой @REM        query session @REM     @REM    2)  вписать этот номер в _1_counters.cfg, например, RDP-Tcp 9 @REM     @REM    3)  перерегистрировать сброщик запуском данного файла @REM  @REM    4)  замер производительности производится запуском _2_task_run_X.cmd и длится 2 минуты @REM    @REM удаление старого сборщика данных logman delete -n RemoteFX_1 logman delete -n RemoteFX_2 logman delete -n RemoteFX_3 logman delete -n RemoteFX_4 logman delete -n RemoteFX_5   for /F "usebackq delims= " %%a IN (`query session ^| find "Administrator"`) DO (     set "x=%%a"     set "x=!x:~9,10!"     echo !x!      type NUL>_1_counters.cfg     echo ^\NVIDIA GPU^(^*^)^\%% Video Decoder Usage>>_1_counters.cfg     echo ^\NVIDIA GPU^(^*^)^\%% Video Encoder Usage>>_1_counters.cfg     echo ^\NVIDIA GPU^(^*^)^\%% GPU Memory Usage>>_1_counters.cfg     echo ^\NVIDIA GPU^(^*^)^\%% GPU Usage>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\Processor Information^(_Total^)^\%% Processor Time>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Loss Rate>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current TCP Bandwidth>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Current UDP Bandwidth>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Sent Rate>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Sent Rate>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Sent Rate>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\Total Received Rate>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\TCP Received Rate>>_1_counters.cfg     echo ^\RemoteFX Network^(RDP-Tcp !x!^)^\UDP Received Rate>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Output Frames/Second>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Input Frames/Second>>_1_counters.cfg     echo.>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Server Resources>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Network Resources>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Frames Skipped/Second - Insufficient Client Resources>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Frame Quality>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Average Encoding Time>>_1_counters.cfg     echo ^\User Input Delay per Session^(Max^)^\Max Input Delay>>_1_counters.cfg      echo.>>_1_counters.cfg     echo ^\RemoteFX Graphics^(^*^)^\Graphics Compression ratio>>_1_counters.cfg     echo ^\NVIDIA GPU^(^*^)^\%% FB Usage>>_1_counters.cfg      @REM счётчик памяти не работает, сброс кэша счётчиков также не помог     @REM    https://docs.microsoft.com/ru-ru/troubleshoot/windows-server/performance/manually-rebuild-performance-counters     echo ^\Memory^\%% Committed Bytes In Use>>_1_counters.cfg     echo ^\Memory^\Available Bytes>>_1_counters.cfg )  @REM и регистрация нового сборщика logman create counter -n RemoteFX_1 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #1 void GPO X" -cf "%~dp0_1_counters.cfg" logman create counter -n RemoteFX_2 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #2 3D GPO X" -cf "%~dp0_1_counters.cfg" logman create counter -n RemoteFX_3 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #3 wmp GPO X" -cf "%~dp0_1_counters.cfg" logman create counter -n RemoteFX_4 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #4 youtube GPO X" -cf "%~dp0_1_counters.cfg" logman create counter -n RemoteFX_5 -f bin -max 10 -si 00:00:01 -rf 00:02:00 --v -o "%~dp0logs\test #5 webGL GPO X" -cf "%~dp0_1_counters.cfg"   @REM pause @REM exit

@REM запускаем сбор данных logman stop RemoteFX_1 logman stop RemoteFX_2 logman stop RemoteFX_3 logman stop RemoteFX_4 logman stop RemoteFX_5

@echo off  @REM смена кодировки нужна для powershell-скрипта "%~dpn0.ps1" chcp 65001  @REM работаем в текущей папке скрипта cd "%~dp0logs"   @REM включаем расширения для переопределения переменных в цикле setlocal EnableDelayedExpansion  @REM цикл по двоичным файлам мониторинга FOR /F "usebackq delims=." %%a IN (`dir *.blg /b`) DO (     set "blg=%%a.blg"     set "csv=%%a.csv"      @REM convert binary to csv     relog "!blg!" -f csv -o "!csv!" -y )  @REM имена cmd и powershell скриптов должны совпадать start "%~dpn0.ps1" /WAIT /B pwsh.exe -Command "& {%~dpn0.ps1 -en:$False}"  @REM справка reglog - утилиты работы с журналами производительности @REM https://docs.microsoft.com/ru-ru/windows-server/administration/windows-commands/relog

Заголовки столбцов содержат различные уникальные данные (id терминальной сессии или оборудования), которые будут несовпадать из-за применения групповых политик и выхода-входа на терминальный сервер. Приводим к единому виду с помощью PowerShell-скрипта:

[CmdletBinding()] param (     [switch] $en       = $False  # substitute ru alias of counters by real en name )  $WorkDir = $MyInvocation.MyCommand.Definition | Split-Path -Parent  $LogsDir = Join-Path -Path $WorkDir -ChildPath 'logs'  $EncodeFrom = [System.Text.Encoding]::GetEncoding(1251) $EncodeTo = New-Object System.Text.UTF8Encoding $False  $names = @(     New-Object psobject -Property @{ 'ru' = 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода' ; 'en' = 'User Input Delay per Session\Max Input Delay'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Входящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Input Frames/Second'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Исходящих кадров в секунду' ; 'en' = 'RemoteFX Graphics\Output Frames/Second'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Среднее время кодирования' ; 'en' = 'RemoteFX Graphics\Average Encoding Time'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Качество кадра' ; 'en' = 'RemoteFX Graphics\Frame Quality'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Коэффициент сжатия графических данных' ; 'en' = 'RemoteFX Graphics\Graphics Compression ratio'}      New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость отправки' ; 'en' = 'RemoteFX Network\Total Sent Rate'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Общая скорость приема' ; 'en' = 'RemoteFX Network\Total Received Rate'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Потери' ; 'en' = 'RemoteFX Network\Loss Rate'}      New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Network Resources'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Server Resources'}     New-Object psobject -Property @{ 'ru' = 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов' ; 'en' = 'RemoteFX Graphics\Frames Skipped/Second - Insufficient Client Resources'}      New-Object psobject -Property @{ 'ru' = 'Сведения о процессоре(_Total)\% загруженности процессора' ; 'en' = 'Processor Information(_Total)\% Processor Time'}     New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Usage' ; 'en' = 'NVIDIA GPU\% GPU Usage'}     New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% GPU Memory Usage' ; 'en' = 'NVIDIA GPU\% GPU Memory Usage'}     New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Decoder Usage' ; 'en' = 'NVIDIA GPU\% Video Decoder Usage'}     New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% Video Encoder Usage' ; 'en' = 'NVIDIA GPU\% Video Encoder Usage'}     New-Object psobject -Property @{ 'ru' = 'NVIDIA GPU\% FB Usage' ; 'en' = 'NVIDIA GPU\% FB Usage'}      New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения' ; 'en' = 'RemoteFX Network\Current UDP Bandwidth'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения' ; 'en' = 'RemoteFX Network\Current TCP Bandwidth'}      New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки UDP-данных' ; 'en' = 'RemoteFX Network\UDP Sent Rate'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения UDP-данных' ; 'en' = 'RemoteFX Network\UDP Received Rate'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость отправки TCP-данных' ; 'en' = 'RemoteFX Network\TCP Sent Rate'}     New-Object psobject -Property @{ 'ru' = 'Сеть RemoteFX\Скорость получения TCP-данных' ; 'en' = 'RemoteFX Network\TCP Received Rate'} )  $Heads = @() foreach ($f in Get-ChildItem -Path $LogsDir -File -Filter '*.csv') {     $FileContent = $f | Get-Content -Encoding $EncodeFrom      $HeadOrig = $FileContent[0]       # приводим заголовки к единому виду, убираем ненужное     # "\\TESTGPU\NVIDIA GPU(#0 GRID M60-1Q (id=1, NVAPI ID=513))\% GPU Memory Usage"     if ($HeadOrig -match '.*(?<hostname>\\\\[a-zA-Z0-9]*\\).*')     {         $HeadOrig = $HeadOrig.Replace($Matches['hostname'], '')     }      if ($HeadOrig -match '.*NVIDIA GPU(?<gpu>\(#[A-Z0-9 ]*-[A-Z0-9]* \(id=[0-9,]* NVAPI ID=[0-9]*\)\))')     {         $HeadOrig = $HeadOrig.Replace($Matches['gpu'], '')     }      # "\\TESTGPU\Графика RemoteFX(RDP-Tcp 55)\Входящих кадров в секунду"     if ($HeadOrig -match '.*(?<session>\(RDP-Tcp[ 0-9]*\)).*')     {         $HeadOrig = $HeadOrig.Replace($Matches['session'], '')     }      # "(PDH-CSV 4.0) (Russia TZ 2 Standard Time)(-180)"     if ($HeadOrig -match '.*(?<time>\(.*\) \(.*Time\)\([0-9 +-]*\))')     {         $HeadOrig = $HeadOrig.Replace($Matches['time'], 'Time')     }      if ($en)     {         $HeadOrig = ($HeadOrig -split '","') -replace '"', ''          foreach ($h in $HeadOrig)         {             if ($h -notin $names.ru) { continue }              $n = $names | Where-Object {$_.ru -eq $h}              $HeadOrig[($HeadOrig.IndexOf($h))] = $n.en  # $h = $n.en не работает         }          $HeadOrig = '"{0}"' -f ($HeadOrig -join '","')     }         $FileContent[0] = $HeadOrig  # перезапись заголовка      $FileContent | Out-File -Encoding $EncodeTo -FilePath $f.FullName      $Heads += $f.Name + $HeadOrig  # сохранение заголовка }  # вывод заголовков столбцов в отдельный файл для доп. контроля порядка, названий и т.д. $Heads | Out-File -Encoding $EncodeTo -FilePath (Join-Path -Path $LogsDir -ChildPath 'heads.txt')

import pandas as pd import matplotlib.pyplot as plt from matplotlib.ticker import EngFormatter  # для вывода форматированных единиц измерения plt.rcParams['figure.max_open_warning'] = 30  # порог предупреждения при одновременном построении нескольких рисунков %matplotlib inline  # импорт данных csv-файлов t21 = pd.read_csv('./logs/test #2 3D GPO 1.csv', na_values=' ') t20 = pd.read_csv('./logs/test #2 3D GPO 0.csv', na_values=' ')  # , encoding='cp1251')  t31 = pd.read_csv('./logs/test #3 wmp GPO 1.csv', na_values=' ') t30 = pd.read_csv('./logs/test #3 wmp GPO 0.csv', na_values=' ') t31_prev = pd.read_csv('./logs/test #3 wmp GPO 1 anomaly.csv', na_values=' ')  t41 = pd.read_csv('./logs/test #4 youtube GPO 1.csv', na_values=' ') t40 = pd.read_csv('./logs/test #4 youtube GPO 0.csv', na_values=' ')  # слияние результатов каждого теста: сначала рекомендованные GPO, потом default GPO t2 = pd.concat([t21, t20],           join='inner', axis=1) t3 = pd.concat([t31, t30, t31_prev], join='inner', axis=1) t4 = pd.concat([t41, t40],           join='inner', axis=1)  # разные наборы для итерации и рисования в цикле dataframes = [t2, t3, t4] ax_titles = ['test #2: 3D benchmark', 'test #3: play 1080p video', 'test #4: play 1080p youtube video'] legend = ['GPU acceleration', 'default', 'GPU, anomaly'] img_sx, img_sy = 15, 5  # размеры одного ряда графиков fgs = [  # макет графиков  # yunit ед. изм., ylabel метка Y-оси, ydata колонка из датафрейма     {'yunit': 'ms',     'ylabel': 'Input Delay',            'ydata': 'Задержка ввода данных пользователем на сеанс(Max)\Максимальная задержка ввода'},     {'yunit': 'fps',    'ylabel': 'RemoteFX input FPS',     'ydata': 'Графика RemoteFX\Входящих кадров в секунду'},     {'yunit': 'fps',    'ylabel': 'RemoteFX output FPS',    'ydata': 'Графика RemoteFX\Исходящих кадров в секунду'},      {'yunit': 'bps',    'ylabel': 'Tx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость отправки'},     {'yunit': 'bps',    'ylabel': 'Rx Speed',               'ydata': 'Сеть RemoteFX\Общая скорость приема'},     {'yunit': '%',      'ylabel': 'Tx / Rx Loss',           'ydata': 'Сеть RemoteFX\Потери'},      {'yunit': '%',      'ylabel': 'CPU Usage',              'ydata': 'Сведения о процессоре(_Total)\% загруженности процессора'},      {'yunit': '%',      'ylabel': 'GPU Usage',              'ydata': 'NVIDIA GPU\% GPU Usage'},     {'yunit': '%',      'ylabel': 'GPU Memory Usage',       'ydata': 'NVIDIA GPU\% GPU Memory Usage'},     {'yunit': '%',      'ylabel': 'GPU Decoder Usage',      'ydata': 'NVIDIA GPU\% Video Decoder Usage'},     {'yunit': '%',      'ylabel': 'GPU Encoder Usage',      'ydata': 'NVIDIA GPU\% Video Encoder Usage'},      {'yunit': 'ms',     'ylabel': 'Encoding Time',          'ydata': 'Графика RemoteFX\Среднее время кодирования'},     {'yunit': '%',      'ylabel': 'Frame Quality',          'ydata': 'Графика RemoteFX\Качество кадра'},     {'yunit': '%',      'ylabel': 'Compression: enc byte / in byte', 'ydata': 'Графика RemoteFX\Коэффициент сжатия графических данных'},      {'yunit': 'fps',    'ylabel': 'FPS Loss by network',    'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — недостаточно сетевых ресурсов'},     {'yunit': 'fps',    'ylabel': 'FPS Loss by server',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у сервера недостаточно ресурсов'},     {'yunit': 'fps',    'ylabel': 'FPS Loss by client',     'ydata': 'Графика RemoteFX\Пропущено кадров в секунду — у клиента недостаточно ресурсов'},      {'yunit': '%',      'ylabel': 'GPU Framebufer Usage',   'ydata': 'NVIDIA GPU\% FB Usage'},      {'yunit': 'bps',    'ylabel': 'Tx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость отправки UDP-данных'},     {'yunit': 'bps',    'ylabel': 'Rx Speed UDP',           'ydata': 'Сеть RemoteFX\Скорость получения UDP-данных'},     {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth UDP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего UDP-подключения'},      {'yunit': 'bps',    'ylabel': 'Tx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость отправки TCP-данных'},     {'yunit': 'bps',    'ylabel': 'Rx Speed TCP',           'ydata': 'Сеть RemoteFX\Скорость получения TCP-данных'},     {'yscale': 1000,    'yunit': 'bps', 'ylabel': 'Bandwidth TCP', 'ydata': 'Сеть RemoteFX\Пропускная способность текущего TCP-подключения'}, ]

for i in range(len(fgs)):  # сколько метрик, столько рисунков (рядов диаграмм)     fig, axs = plt.subplots(1, 3, figsize=(img_sx, img_sy), sharex='col', sharey='row', gridspec_kw=dict(hspace=0, wspace=0, ))  # width_ratios=[1, 1, 1]      fig_name = fgs[i]['ydata'].split('\\')[1]     fig.suptitle(f'Рис. {i + 1:>2}. {fig_name}', fontsize=14)  #, color='grey')  # имя рисунка     fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного      axs[0].set(ylabel=fgs[i]['ylabel'])  # подпись Y-оси только на первых (левых) графиках из трёх     axs[2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')  # дублируем значения справа      for ax, d, title in zip(axs, dataframes, ax_titles):  # на каждый тест своя диаграмма         ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))  # строим график         ax.set_title(title)  #, color='grey')  # заголовок диаграммы                  ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале         ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды          ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале         ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.          # расчёт средних и вывод в легенду диаграммы "на лету"         avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]         lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]         ax.legend(lgn, fontsize=8)  # отображение легенды графика          ax.grid(axis='y')  # горизонтальная сетка         ax.set_xlim(0,119)  # метка "120" засоряла график          if ax == axs[1]:  # выделяем аномалии на средней диаграмме             ax.axvline(x=15, linestyle=":", color='C0')             ax.axvline(x=58, linestyle=":", color='C0')             ax.axvline(x=101, linestyle=":", color='C0')          fig.tight_layout()  # (pad=0.4, w_pad=1.5, h_pad=30.0)

Общая ось X на все графики: метрики тестов располагаются строго друг под другом — удобно сопоставлять разные метрики между собой.

# один рисунок  # plt.style.available  # plt.style.use('seaborn-whitegrid') fig, axs = plt.subplots(len(fgs), 3, figsize=(img_sx, img_sy * len(fgs)), sharex='col', sharey='row', gridspec_kw=dict(hspace=0.2, wspace=0)) fig.patch.set_facecolor('white')  # фон рисунка белый вместо прозрачного  # заголовки только вверху [ax.set_title(title) for ax, title in zip(axs[0], ax_titles)]  # ax.set_title(title, color='grey')  for i in range(len(fgs)):     axs[i,0].set(ylabel=fgs[i]['ylabel'])     fig_name = fgs[i]['ydata'].split('\\')[1]     axs[i,1].set(xlabel=f'Рис. {i + 1:>02}. {fig_name}')     # axs[i,1].xaxis.label.set_color('grey')      axs[i,2].yaxis.set_tick_params(labelleft=False, labelright=True, which='major')      for ax, d, title in zip(axs[i], dataframes, ax_titles):         ax.plot(d.index.values, d[fgs[i]['ydata']] * (fgs[i].get('yscale', 1)))          ax.xaxis.set_tick_params(which='major', labelcolor='grey')  # подписи к X-шкале         ax.xaxis.set_major_formatter(EngFormatter(unit='s'))  # по X секунды          ax.yaxis.set_tick_params(which='major', labelcolor='grey')  # подписи Y-шкале         ax.yaxis.set_major_formatter(EngFormatter(unit=fgs[i]['yunit']))  # по Y у каждого графика своя ед. изм.          # расчёт средних и изменение легенды диаграммы "на лету"         avg = [EngFormatter(places=0).format_eng(avg * (fgs[i].get('yscale', 1))) for avg in d[fgs[i]['ydata']].mean()]         lgn = [f'avg {m}{fgs[i]["yunit"]}, {l}' for l, m in zip(legend, avg)]         ax.legend(lgn, fontsize=8)  # отображение легенды графика          ax.grid(axis='y')  # горизонтальная сетка         ax.set_xlim(0,119)  # метка "120" засоряла график          if ax == axs[i,1]:  # выделяем аномалии на средней диаграмме             ax.axvline(x=15, linestyle="--", color='C0')             ax.axvline(x=58, linestyle="--", color='C0')             ax.axvline(x=101, linestyle="--", color='C0')