Привет, я Паша из Ozon. В рабочее время занимаюсь тестированием поиска, а по вечерам надеваю маску инди-разработчика. И моя самая частая задача — написать скрипт → залить его на сервер → периодически мониторить, что сервер доступен. Эта статья как раз и будет строиться вокруг последнего пункта.
Вы наверняка в курсе, что существуют Grafana, Prometheus, Kibana, LogDNA и другие инструменты для мониторинга, визуализации и анализа данных. C первыми двумя я вплотную познакомился в Ozon, а про Kibana слышал когда-то давно и только в паре со словом «логи». Чтобы графики в Grafana рисовать — придется штат аналитиков нанять (ба-дум-тсс). Для пет-проекта это перебор, нужно что-то сильно проще (с точки зрения стоимости, простоты настройки и удобства). Ниже расскажу, какие готовые инструменты для мониторинга небольших проектов я нашёл в пучинах интернета, а также оставлю комментарии и рекомендации по использованию.
Disclaimer: все проекты рассматриваются с точки зрения маленького сайта/скрипта/бота/приложения, поэтому видение автора может сильно отличаться от видения enterprise-разработчиков.
Netdata
Из заголовка сайта проекта многое сразу понятно: Monitor everything in real time. For free. Про него уже есть статья на Хабре, не вижу смысла описывать детальнее. Очень просто устанавливается. Одна команда «скачать», вторая «запустить» — и графики уже можно смотреть.
С помощью Netdata можно отслеживать огромнейшее количество показателей: статистику использования процессора, потребления памяти, операций ввода-вывода и прочего. Netdata разработана для администраторов, DevOps и разработчиков. Так что если сложно — есть раздел с документацией, рекомендую на старте, помогает внести ясность по базовым метрикам и настройке алертов.
Плюсы
-
легко устанавливается;
-
есть алерты;
-
огромное количество метрик;
-
«для DevOps».
Минусы
-
масштабирование (на кластер поставить нельзя, только отдельно на каждый сервер);
-
нужно следить за логами (сколько их и где они);
-
конфигурация через SSH;
-
«для DevOps».
Из описания следует, что сервис больше ориентирован на низкоуровневые показатели железа, а значит требует больших знаний и внимания — что не совсем подходит для серверных скриптов. Зато инструмент поможет понять, когда настало время масштабироваться, вертикально уж точно.
«Для DevOps» и в плюсах, и в минусах — зависит от того, кто читает. Я не смог настроить алерты, поэтому использую как дашборд: смотрю средние значения по нагрузке на CPU.
Monitoror
Предыдущий инструмент, Netdata, я нашел случайно по запросу «dashboard». Но это не совсем то, чего я хотел. Я бы хотел красивые плитки с простой и гибкой настройкой. Первое, что лежит на поверхности — Smashing. Но с ним у меня не задалось. Написан на Ruby, и я его даже запустить не смог, не то что настроить. А посмотрев обзоры и готовые доски — еще и не захотел.
Как оказалось, я всё время искал то, что сделали разработчики Monitoror. Потрясающе гибкая (во всех смыслах) доска с поддержкой CI/CD провайдеров. Просто взгляните на скриншоты:
Устанавливается легко, через бинарник. Настраивается через JSON файл. Выглядит он примерно так:
{ "version": "2.0", "columns": 3, "tiles": [ { "type": "HTTP-RAW", "label": "plumber stars", "params": { "url": "https://github.com/pashkatrick/Plumber", "regex": "(\\d+) users starred" } }, { "type": "HTTP-RAW", "label": "grpc-client", "params": { "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.grpc-client", "regex": "(\\d+) installs" } }, { "type": "HTTP-RAW", "label": "udecoder", "params": { "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.vscode-udecoder", "regex": "(\\d+) installs" } }, { "type": "HTTP-RAW", "label": "vscode-etcd", "params": { "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.vscode-etcd", "regex": "(\\d+) installs" } } ] }Кому интересно подробнее — оставлю ссылку на официальную документацию. От себя скажу лишь, что помимо HTTP-RAW есть HTTP-FORMATTED и HTTP-STATUS. Но это для типа плитки HTTP соответственно. Поддерживаются следующие типы плиток:
Плюсы
-
дизайн и удобство;
-
простая и понятная настройка.
Минусы
-
чем больше блоков — тем хуже читаемость;
-
отсутствие алертов.
Подходит как для маленьких проектов, «сервачков», сбора интересных цифр (таких как количество скачиваний), так и для стартапов средней величины, где уже выстроен процесс доставки кода.
Сам я CI/CD не настраивал, не было необходимости. Жаль, алертов никаких, да и в проекте последняя активность была год назад. Но в целом очень нравится; все, что нужно — есть.
Поскольку оповещений нет — пришлось сделать свою парсилку логов. Это простой Python-скрипт, который внутри себя запускает Monitoror в debug-режиме, а после выполнения складывает логи рядом с собой. Соответственно, если ответ не «200 ок» — можно послать уведомление. Сыро, но, если будут звезды, можем докрутить до рабочего состояния.
N8N (etc.)
Следующий пункт в обзоре — no-code платформы, где можно «собрать» систему оповещения под свои нужды.
Например:
-
Albato (rus),
-
N8N (круто),
-
Corezoid (дороговато стало),
-
IFTTT (интерфейс отличается),
-
Apix-Drive (rus).
Я выбрал N8N как бесплатную для тех, у кого есть Docker. Установка потребует некоторых IT-навыков, но в целом ничего сложного.
Есть хорошая статья с разбором мониторинга базы данных. Но покажу на своём примере:
Пусть каждые 15 сек отправляется запрос на все мои сайты, и если в ответ приходит НЕ «200 ОК», то отправляется уведомление о проблеме. После собираем отчёт по всем сайтам и отправляем его менеджеру на почту и в Notion.
Пара минут на придумывание flow + соединить всё стрелочками + пару часов на все credentials и API-ключи. Получается довольно быстро c полным соответствием поставленным требованиям.
Плюсы
-
абсолютная гибкость;
-
несложная установка;
-
хорошее комьюнити;
-
документация/инструкции/туториалы;
-
своих денег стоит.
Минусы
-
не нашел.
Сфера применений широчайшая. От бэкенда (можно RabbitMQ, Postgres, Redis — все есть) до управления автоматической поилкой собаки. Процесс масштабирования непростой, но авторы сделали инструкции на популярные кейсы, так что вопросов не остается. А если остаются — в комьюнити можно быстро найти на них ответ.
Крайне рекомендую N8N, к тому же можно добавлять свои/новые сервисы. Мейнтейнеры проекта проверяют пулл-реквест около недели и присылают рекомендации, если потребуются.
Уже не на коленке
На десерт оставил сервисы из категории «всё уже написано за нас». Установка не требуется, только регистрация. Рекомендую посмотреть:
На борту: мониторы сайтов, значение uptime’a за настроенные периоды (98% за год), отчёты, страница status page (которую можно показывать всем желающим, хвастаясь стабильностью), а также функция пинга сайтов из разных точек мира и VPN/Proxy запросы. Лично не пробовал, но звучит интересно.
Много функций — конечно, хорошо, но разделение на команды внутри сервиса и инцидент-менеджмент кажутся лишними… Лично мне только уведомления нужны на случай, если что-то сломается. Но тут уже на вкус и цвет.
Плюсы
-
SaaS и всё из него вытекающее;
-
красиво и удобно;
-
алерты, отчеты, интеграции.
Минусы
-
очень платно (начинаются от 30$ в месяц);
-
бывает перегружен интерфейс (например, инцидент-менеджмент).
Я пользуюсь Better Uptime: интерфейс приятный и понятный, да ещё и раз в неделю приходит отчет по всем сайтам. Бесплатного тарифа хватает, но буду ещё тестировать уведомления в Slack/Telegram. Также хочу посмотреть на Proxy-пинг, который доступен по умолчанию, — интересно.
Конец
Не люблю стандартные итоги в стиле «выбор сервиса зависит от поставленной задачи», так что скажу так: пробуйте, пользуйтесь, делитесь опытом и находками!
Если я не упомянул еще более крутые сервисы — сообщите мне любым способом, например, в комментариях к статье. Я увижу, запущу сервис, оценю и обновлю статью. Благодарю за внимание!
P.S.
По итогу «аналитической работы» я решил делать свой сервис с отчетами, алертами и запахом смузи. Там пока ничего нет, но если интересно поучаствовать — welcome!
ссылка на оригинал статьи https://habr.com/ru/articles/572150/
Добавить комментарий