Мониторинг работы Ansible Playbook

Как-то раз я решил задействовать ansible (очень популярный инструмент управления конфигурациями) в системе, развернутой в продакшене. Когда дело доходит до систем, развернутых в продакшене, нам очень важно знать, какие конфигурации применились успешно, а какие нет.

Некоторое время поискав решение на просторах сети, я так и не смог найти простой способ отслеживать неудачное выполнение. Поэтому я придумал следующее решение.

Базовый рабочий процесс решения

1. Сохранение вывода плейбука в специальный файл (на каждом хосте) с помощью log_plays.

2. Передача логов в elasticsearch с помощью filebeat.

3. Наконец, визуализация информации с помощью kibana.

Реализация решения

Весь код можно найти здесь: monitor-ansible-playbook-executions

Ansible предоставляет нам колбек, который записывает вывод плейбука в специальный файл на каждом хосте с помощью следующей конфигурации:

-- ansible.cfg  [defaults]      stdout_callback = log_plays

Вывод в логах плейбука будет в следующем формате:

time - path-to-playbook - task-name - task-command - task-status - task-output  time - path-to-playbook - task-name - task-command - task-status - task-output

Затем эти логи парсит filebeat (с помощью обработчика dissect). Поскольку между двумя сообщениями есть пустая строка, мы будем выполнять условный парсинг.

processors:     - dissect:         when:           not:             equals:               message: ""         tokenizer: "%{time} - %{playbook_path} - %{task_name} - %{task_cmd} - %{task_status} - %{task_output}"         field: "message"         target_prefix: "ansible"

Обработчик script добавит в логи информацию о хостах:

- script:         lang: javascript         source: >           function process(event) {               var ansible_path = event.Get("log.file.path");               var host = ansible_path.split("/").pop();               event.Put('ansible.host', host)           }

Наконец, логи публикуются в elasticsearch.

output.elasticsearch:       enabled: true       hosts: ["elasticsearch-1:9200"]

Теперь можно визуализировать эту информацию с помощью kibana и добавить наблюдателей, чтобы информировать команду о сбоях.

Спасибо за внимание.

Уже завтра вечером в рамках онлайн-курса OTUS «Observability: мониторинг, логирование, трейсинг» состоится открытый урок «Организация мониторинга с помощью Grafana stack». На уроке рассмотрим следующие темы: установка, настройка Loki и Tempo. Визуализация логов и трейсов в Grafana. Регистрация доступна для всех желающих на странице курса.