Одним db.odbc.get запросом в базу реализовывается discovery метрик и разнесение данных по метрикам

В статье расскажу как одним запросом в базу, реализовать и автоматическое создание метрик и обеспечить наполнения найденных метрик данными. Пришли коллеги, говорят есть список SERVICE_TYPE с двумя столбцами отражающие статистику работы сервиса, скорость отработки запросов с количество запросов, которые меняются в онлайне, просим добавить в мониторинг.

[root@zabbix admin]# su zabbix bash-4.2$ bash-4.2$ isql -v oracle_host SQL> select service_name, service_type, avg_time, r_count from main.timing_mon; +--------------+--------------+----------+---------+ | SERVICE_NAME | SERVICE_TYPE | AVG_TIME | R_COUNT | +--------------+--------------+----------+---------+ | CR           | EQ:          | 1.25     | 8       | | CR           | FPS:0        | 1        | 10      | | CR           | MTV1:1       | .5       | 10      | | CR           | NBI:         | .33      | 6       | | ID           | PETAPFR      | 5.38     | 8       | | PY           | PY_UNI       | .63      | 8       | | RB           | Card         | .43      | 7       | | RB           | DepLq        | 0        | 7       | | RB           | Loaq         | .29      | 7       | +--------------+--------------+----------+---------+ SQL>

Информации как такие вещи реализуются мало

Делюсь опытом, если есть более элегантные способы реализации, делитесь в комментариях, буду рад почитать.

Первым делом создаем простую метрику, в текстовом формате, с временем хранения данных 3600 секунд, хотя после отработки всех моментов можно убрать вообще хранения данных.

Имя будущих метрик будет содержать имя из столбца SERVICE_TYPE вместо символов : (двоеточие) будет находится символ _ что допускается. Соответственно пришлось в пред-обработке убирать символ : (двоеточие) на _ весьма не тривиальным способом:

После создания метрики, проверяем собираемость данных, содержание метрики json:

[{"SERVICE_NAME":"CR","SERVICE_TYPE":"EQ_","AVG_TIME":".84","R_COUNT":"31"}, {"SERVICE_NAME":"CR","SERVICE_TYPE":"FPS_0","AVG_TIME":"2.22","R_COUNT":"90"}, {"SERVICE_NAME":"CR","SERVICE_TYPE":"MTV1_1","AVG_TIME":".49","R_COUNT":"94"}, {"SERVICE_NAME":"CR","SERVICE_TYPE":"NBI_","AVG_TIME":".65","R_COUNT":"57"}, {"SERVICE_NAME":"ID","SERVICE_TYPE":"PETAPFR","AVG_TIME":"1.11","R_COUNT":"62"}, {"SERVICE_NAME":"PY","SERVICE_TYPE":"PY_UNI","AVG_TIME":".39","R_COUNT":"36"}, {"SERVICE_NAME":"RB","SERVICE_TYPE":"Card","AVG_TIME":".3","R_COUNT":"44"}, {"SERVICE_NAME":"RB","SERVICE_TYPE":"DepLq","AVG_TIME":".4","R_COUNT":"45"}, {"SERVICE_NAME":"RB","SERVICE_TYPE":"Loaq","AVG_TIME":".33","R_COUNT":"48"}]

Что есть что:

SERVICE_NAME — преобразуется как группа элементов данных

SERVICE_TYPE — преобразуется в два элемента данных по каждому из сервисов, например: FPS_0 AVG_TIME и FPS_0 COUNT

Создаем правило обнаружения:

Создаем два прототипа элементов данных:

Первый прототип данных

1. Регулярное выражение ("SERVICE_TYPE":"{#SERVICE_TYPE}".*?})

2. Регулярное выражение "AVG_TIME":("[0-9|.]{1,}?")

Второй прототип данных

1. Регулярное выражение ("SERVICE_TYPE":"{#SERVICE_TYPE}".*?})

2. Регулярное выражение "R_COUNT":("[0-9|.]{1,}?")

Первое регулярное выражение: ("SERVICE_TYPE":"{#SERVICE_TYPE}".*?}) в прототипах оно одинаковое, в момент разведки метрик, LLD макрос {#SERVICE_TYPE} будет заменен именем будущей метрики, например:

Метрика FPS_0 AVG_TIME а regex будет ("SERVICE_TYPE":"FPS_0".*?})

Можно обратится к ресурсу regex101.com для тестирования, я для наглядности приведу скрин который показывает что делает первый regex:

Результат отработки первого выражения, поиск по всему json и получение в первую группу нужного нам параметра с его столбцами: "SERVICE_TYPE":"FPS_0","AVG_TIME":"2.22","R_COUNT":"90"}

Второе регулярное выражение получает из строки значение конкретного параметра:

Далее может быть так что, значение параметра будет без начального нуля:

«AVG_TIME»:».33″

«AVG_TIME»:».4″

«AVG_TIME»:»2.22″

В этом случае применяется две замены

1. Замена ". меняет на 0.

2. Замена удаляет символы "

В общем все

Если есть другие способы реализовать разведку метрик и наполнения данными одним или двумя запросами в базу, пишите в комментариях, будут рад почитать