Как подружить Zabbix с eXpress

Всем привет! На связи Ситуационный Центр Московской биржи. Сегодня мы расскажем, как наводили красоту и удобство в процессе интеграции Zabbix с новым корпоративным мессенджером eXpress, и покажем, как сделать так же (или еще лучше).

1. Дано

В конце 2023го года в рамках работ по импортозамещению основным корпоративным мессенджером Московской Биржи вместо MS Teams стал eXpress.

На корпоративный мессенджер завязано множество интеграций и рабочих процессов, в частности — интеграция системы мониторинга Zabbix Ситуационного Центра. С помощью этой интеграции мы имели возможность оповещать инженеров в чатах о возникновении и устранении событий с помощью бота.

Перед командой Ситуационного Центра Московской Биржи встала задача: перенести все настроенные интеграции, рабочие процессы и оповещения Zabbix в eXpress

2. Первый подход

Мы решили не придумывать велосипед и воспользоваться самым простым и очевидным решением:

• Создали чаты по каждой из систем

• Добавили в эти чаты заинтересованных инженеров

• Добавили в чаты бота 

• Настроили бота писать сообщения по событиям разных систем в разные чаты

 

Выглядело это примерно так (верхнее сообщение — событие произошло, нижнее событие — событие устранено

Технически — задача решена, интеграция работает, инженеры оповещаются. Но что-то было не так..

3. Что было не так

Основная проблема такого подхода — полное отсутствие читаемости и наглядности.

Сложно сходу понять приоритет события.

Сложно понять, какие события уже устранены, а какие нет

Для решения этих проблем мы немного поковырялись в шаблонах и пришли к новому виду оповещений.

4. Как стало

В новом шаблоне оповещений полностью изменился формат сообщений.

• Появился цветовой индикатор статуса события (зеленый — хорошо, красный — плохо), который меняется при изменении статуса в заббикс.

• Использована маркдаун маркировка

• Добавлен цветовой индикатор приоритета события

Получили:

При возникновении события:

При решении редактируется сообщение. Меняется цветовой индикатор, добавляется строка с информацией о времени решения

5. Почему это хорошо

Плюсы такого шаблона сообщений понятны:

• Повышена читаемость — сразу виден статус события, его описание, приоритет

• меньше спама — вместо повторного сообщения о восстановлении редактируется исходное сообщение и меняется статус с красного на зеленый

6. Как сделать так же

6.1. Изменить скрипт отправки

·       Изменить метод с reply на edit

Метод отправки уже добавляет тег с ключом сообщения для того, чтобы отправлять ответное сообщение при восстановлении проблемы. Все, что нужно для того, чтобы менять текст оригинального сообщения —  endpoint для ответного сообщения

//Было url = 'api/v3/botx/events/reply_event'; //Стало url = 'api/v3/botx/events/edit_event'; 

·       Добавить цветовые индикаторы в тело скрипта

Добавление цветовых индикаторов несколько неочевидно. Если попробовать добавить их в шаблон сообщения, то получим ошибку. Zabbix не может сохранить эмоджи в шаблон сообщения. Однако может сохранить их в скрипте отправки. Для добавления индикатора состояния достаточно просто отправлять его вместе с сообщением

if (is_problem) {             data = {                 group_chat_id: Express.params.send_to,                 notification: {                     status: 'ok',                     body: "?"+message  //Отправится при возникновении проблемы                 }             };             url = 'api/v4/botx/notifications/direct';         }         else {             data = {             payload:{             body: "?"+message  //Отправится при решении проблемы             }             };         url = 'api/v3/botx/events/edit_event';  

Для добавления маркировки статусов потребуется немного больше изменений. Нам необходимо создать свой макрос в шаблоне сообщения и заменять его на соответствующий статус перед отправкой. Для этого сперва добавляем приоритет события в параметры скрипта макросом {EVENT.NSEVERITY}, а в шаблоне сообщения заменяем приоритет уникальной строкой Severity: {event_sever}. После чего мы можем подставить нужное нам значение в скрипте

postMessage: function (is_problem,event_sever) { var message = Express.params.message var sever = ["◻Not classified","?Information","?Warning","?Average","?High","?Disaster"] message = message.replace("{event_sever}",sever[event_sever]) 

6.2. Собрать новый шаблон сообщения

Шаблон сообщения с маркировкой

Событие произошло:

**{EVENT.NAME}**  * Started at {EVENT.TIME} * Host: {HOST.NAME} * Severity: {event_sever} * Operational data: {EVENT.OPDATA} * Description:  {TRIGGER.DESCRIPTION} * Event info: [Zabbix](http://zabbix.com/zabbix/tr_events.php?triggerid={TRIGGER.ID}&eventid={EVENT.ID}) 

Событие устранено:

**{EVENT.NAME}**  * Started at {EVENT.TIME} * Host: {HOST.NAME} * Severity: {event_sever} * Operational data: {EVENT.OPDATA} * Description:  {TRIGGER.DESCRIPTION} * Event info: [Zabbix](http://zabbix.com/zabbix/tr_events.php?triggerid={TRIGGER.ID}&eventid={EVENT.ID}) 

7. Заключение / Выводы

Новый вид оповещений помогает нашим инженерам быстрее и точнее обрабатывать события. Мы продолжаем изучать возможности интеграции между Zabbix и eXpress для еще большего упрощения процесса и обязательно вернемся к вам с новостями.

Спасибо за внимание!