Email Chart — это вам не ASCII Art

По роду моей деятельности я всегда нахожусь между различными подразделениями — у меня в email даже нет подписи, кто я, потому что я сам не знаю, кем являюсь. Недавно я автоматизировал доставку performance metrics SQL server с PROD девелоперам.

Конкретная информация (SQL performance metrics) не важна, вы можете делать такое для любой информации, и даже рисовать графы. Графики отправляются по почте и выглядят примерно так в окне письма в outlook:

Но прежде чем я продолжу, давайте дадим слово моему воображаемому оппоненту, зумеру-хипстеру, вот он спешит высказаться:

Мужик! Графики по почте? Что, cерьезно? Web интерфейс, интерактивность, Grafana — «нет, не слышал»? Ты бы еще звездочками графики нарисовал бы в письме, ASCII art-ом.

Конечно, мой воображаемый оппонент абсолютно прав в идеальном, воображаемом мире. Это вам подтвердит любой пролетающий там розовый единорог. Однако, если мы не в стартапе, а в кровавом enterprise, то все не так розово.

Во-первых, доступ к серверам PRODUCTION в кровавом Enterprise варьируется от затрудненного до параноидального (например, CA PAM с возможностью зайти на сервер только если есть открытый инцидент на вас, при этом copy/paste блокирован). Есть еще более параноидальный вариант — через митинг и экран, когда можно говорить что делать, но набирает другой человек.

Во-вторых, что вы там хотели поставить, Grafana? На отдельном сервере, понятно. Давайте и напишем «прошу выделить сервер с доступом ко всем SQL серверам на PROD для таких то нужд». Опять-таки, в зависимости от параноидальности компании вы можете получить желаемый сервер примерно через месяц, два (если вам будет активно помогать менеджмент в борьбе против security team) или никогда.

Кроме того, если вы хоститесь on-prem, то вам могут дать виртуалочку, так уж и быть. Если же речь идет об AWS (а мы речь ведем о PROD), то это запрос на машинку, где будут поля Department и Billing Code, и потребуют реальные деньги. Нет, дело не в сумме. Выделить сотни тысяч долларов на какую нибудь фигню для Enterprise элементарно, а вот пару сотен в месяц для Васи Пупкина — извините.

Наконец, формат email очень совместим с менеджментом. Менеджер не будет думать, под каким логином заходить на Grafana и куда там кликать, а потом делать screenshots. То ли дело мыло — его легко отфорвардить или прикрепить к митингу. Вас даже могут попросить сделать отчет регулярным, чтобы он автоматически отправлялся менеджеру на почту раз в день или неделю (через три месяца мы можете это отключить — менеджер давно перенаправил надоевший отчет в Junk правилом и забыл про него)

В итоге приходится прососаться к серверу с максимально открытой connectivity к другим (такие, как правило, есть, но к ним сильно лимитирован доступ), как правило, такие сервера связаны с deploy (Jenkins, Octopus etc). Особо много там не развернешь — надо вести себя там скромно. Вряд ли кто смотрел старый мультик, но придется сослаться на Филиаса Фога:

«А теперь — слайды» (c) Итак, я зацепился за существующий Jenkins server, создав Job:

Jenkins используется просто как оболочка вызова powershell (да, powershell можно прекрасно использовать и под Linux!) и бесхитростно передает все параметры скрипту. Вся информация по performance у меня в одной плоской таблице, и выводится по колонкам. Графики рисуются примерно так:

makeChart $find @('3Read latency, microseconds','2Write Latency, microseconds') 'IO latency' 'Time' 'Times in microseconds' 'latency'

В $find находится data set, вычитанный на нужную дату и диапазон времени. Названия колонок предваряет код цвета. Смотрим процедуру makeChart:

# Xgraph colors # 2 = red, 3 = blue, 4 = green, 5 = violet, 6 = orange, 7 = yellow, 8 = pink, 9 = cyan function makeChart($ds, $cols, $title, $titleX, $titleY, $pngname) { 	Out-File -FilePath $workfile -Force -Encoding ascii 	"Title = $title" | Add-Content $workfile   	"title_x = $titleX" | Add-Content $workfile   	"title_y = $titleY" | Add-Content $workfile 	$maxval = 0 	foreach ($c in $cols) 		{ 		$colname = $c.Substring(1) 		$colch = $c[0] 		"color = $colch" | Add-Content $workfile 		$secf = -1 		foreach ($r in $find) { 			$val = $r[$colname] 			if ($val -gt $maxval) { $maxval = $val } 			if ($secf -lt 0) { $secf = $r.sec } 			$secl = $r.sec 			"$secl $val" | Add-Content $workfile 		} 	"NEXT" | Add-Content $workfile    }   $maxval = $maxval * 1.03

Я там скрыл две последние строки — о них пойдет речь дальше. Что мы вообще делаем здесь? Мы составляем текстовое задание для пакетного рисовальщика картинок Xgraph. Утилитка старая и графики выглядят на уровне 90х годов, кроме того, она не понимает Unicode (-Encoding ascii). Неудивительно — развитие таких утилит остановилось, но иногда они очень полезны! Итак, файл готов. Вызываем Xgraph:

&D:\Apps\Xgraph\bin\xgraph.exe $workfile -pdf -hms -x_range $secf $secl -y_range 0 $maxval -out_file $pdf

Указываем входной файл, диапазон по y, по x (секунды как целое от начала суток), рисуем и время как время (-hms) и увы… вывод только в pdf и подобные форматы. Их можно приложить как attachment, но это некрасиво, нам хочется поместить картинку в тело письма. Придется скачать Poppler и конвертировать pdf в png.

&D:\Apps\poppler\bin\pdftoppm -png $pdf $pngname

Теперь тело письма будет выглядеть примерно так:

Здесь снова экстремальное программирование — у нас есть голый и чистый HTML почтового разлива — без CSS, javascript и вообще без всего. Обратите внимание, что png имеет в имени ‘-1’, это первая страница (она же в данном случае единственная).

Есть еще одна утилитка подобного плана, она позволяет рисовать графы по их текстовому описанию: graphviz. Она уже может непосредственно выводить в png и jpg:

Это пример, как уже в другой job я возвращаю пользователям lock graph.