Простой и удобный шаблон для bash-скриптов выполняемых по расписанию

Хочу поделиться с сообществом простым и полезным шаблоном скрипта-обёртки на bash для запуска заданий по cron (а сейчас и systemd timers), который моя команда повсеместно использует много лет.

Сначала пара слов о том зачем это нужно, какие проблемы решает. С самого начала моей работы системным администратором linux, я обнаружил, что cron не очень удобный планировщик задач. При этом практически безальтернативный. Чем больше становился мой парк серверов и виртуальных машин, тем больше я получал абсолютно бесполезных почтовых сообщений «From: Cron Daemon». Задание завершилось с ошибкой — cron напишет об этом. Задание выполнено успешно, но напечатало что-нибудь в STDOUT/STDERR — cron всё равно напишет об этом. При этом даже нельзя отформатировать тему почтового сообщения для удобной автосортировки. Сначала были годы борьбы с использованием разных вариаций из > /dev/null, 2> /dev/null, > /dev/null 2>&1, | mail -E -s '<Subject>' root@. Потом я нашёл Cronic — обёртку на bash, которая скрывает вывод запускаемой задачи, если она завершена успешно. Стало полегче, но обнаружилось, что от некоторых заданий всё же лучше получать сообщение «Task OK», чтобы не столкнуться в самый неподходящий момент с тем, что выполнение задания тихо сломано месяц назад. Постепенно копились и другие хотелки:

1. иногда требуется, чтобы задание было автоматически принудительно остановлено, если выполняется больше определённого времени;

2. иногда нужны гарантии, что в каждый момент времени запущена только одна копия задания;

3. бывает так, что запускать задачу нужно с рандомной задержкой по времени (такая дисперсия иногда нужна, чтобы не положить какой-нибудь сервис одновременными запросами с большого количества машин).

В какой-то момент я отложил в сторону cronic и написал свой шаблон для запуска периодических заданий, в котором реализовано всё, что перечислено выше. Вот что он умеет:

1. сохраняет в лог-файлы STDERR и STDOUT выполняемых команд;

2. если задание завершилось ошибкой, то отправляет на заданный электронный адрес последние 10000 (можно настроить любое) строк STDOUT и STDERR;

3. опционально может отправить метрику в Zabbix, если задача выполнена успешно (удобно для сброса времени срабатывания триггера);

4. гарантирует, что одновременно будет запущена только одна копия задания;

5. опционально может запускать задачу с рандомной (в заданном диапазоне) задержкой по времени;

6. опционально можно установить максимальное время работы, по истечению которого задача будет принудительно завершена с ошибкой.

#!/usr/bin/env bash  ## # bash options ##  set -eu -o pipefail  export LC_ALL="C" export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"  ## # Variables ##  SET_EXECUTION_LOCK="${SET_EXECUTION_LOCK:-}" MAX_EXECUTION_TIME="${MAX_EXECUTION_TIME:-10}" START_DELAY_RANGE="${START_DELAY_RANGE:-0-0}" LOGS="/var/log/$(basename "$0")" HOSTNAME="${HOSTNAME:-$(hostname -f)}" REPORT_MAIL="monitoring@example.com" REPORT_SUBJ="$0 fail on $HOSTNAME" #ZABBIX_ITEM="example.task.ok"  ## # Execution lock and timeout ##  if [[ -n "$MAX_EXECUTION_TIME" ]]; then   command="timeout -v -k 60 $MAX_EXECUTION_TIME" fi  if [[ -n "$SET_EXECUTION_LOCK" ]]; then   command="flock -E 0 -n $0 ${command:-}"  fi  if [[ -z "${_run_:-}" ]]; then   sleep "$(shuf -i "$START_DELAY_RANGE" -n 1)"   export _run_=1   exec ${command:-} "$0" "$@" fi  ## # Functions ##  print_logs() {   cd "$LOGS"    echo "Trace of $HOSTNAME:$0"   for log in stderr stdout; do     if [[ -s "$log" ]]; then       echo "----- $(basename "$log")"       tail -n 10000 "$log"     fi   done }  send_to_zabbix() {   local item="${1:-}"   local value="${2:-1}"    zabbix_sender -c /etc/zabbix/zabbix_agentd.conf -s "$HOSTNAME" -k "$item" -o "$value" }  on_exit() {   return }  on_error() {   print_logs 2>&1 | mail -E -s "$REPORT_SUBJ" "$REPORT_MAIL"   on_exit    # Нам не нужно лишнее письмо от crond   exit 0 }  main() {   set -x    "$@"    if [[ -n "${ZABBIX_ITEM:-}" ]]; then     send_to_zabbix "${ZABBIX_ITEM:-}" 1   fi }  ## # Main ##  trap on_error ERR trap on_exit EXIT  [[ -d "$LOGS" ]] || mkdir -p "$LOGS"  (main "$@" > "$LOGS/stdout" 2> "$LOGS/stderr") 

В целом скрипт тривиален, но некоторые пояснения, думаю, требуются.

Переменные которые определяют параметры запуска. Их значения могут быть установлены напрямую или через одноимённые переменные окружения.

# Максимальное время после которого задача будет принудительно завершена. MAX_EXECUTION_TIME="${MAX_EXECUTION_TIME:-8h}"  # Не пустое значение запрещает запуск нескольких копий задачи. SET_EXECUTION_LOCK="${SET_EXECUTION_LOCK:-}"  # Случайное число из этого диапазона определяет количество секунд задержки # перед стартом. START_DELAY_RANGE="${START_DELAY_RANGE:-0-0}"

Точка входа, запускаем главную функцию в subshell. Это нужно для того, чтобы в случае ошибки не была завершена сама обёртка.

(main "$@" > "$LOGS/stdout" 2> "$LOGS/stderr")

Основная функция.

main() {   # Включаем вывод в STDERR выполняемых команд с аргументами   set -x    # Здесь помещаем вызов или логику задачи на bash. Если использовать   # "$@", то здесь будет выполнена команда переданная обёртке в качестве   # аргумента командной строки   "$@"    # Если определена переменная ZABBIX_ITEM, то отправляем метрику в сервер Zabbix   if [[ -n "${ZABBIX_ITEM:-}" ]]; then     send_to_zabbix "${ZABBIX_ITEM:-}" 1   fi } 

on_error() — функция, которая будет вызвана в случае ошибки.

on_error() {   # Отправляем трейсы   print_logs 2>&1 | mail -E -s "$REPORT_SUBJ" "$REPORT_MAIL"   on_exit    # Завершаем работу с rc=0, нам не нужно лишнее письмо от crond   exit 0 }

Функция on_exit() в шаблоне пуста. В неё можно добавить команды, которые будут выполнены перед завершением скрипта. Например, команды очистки временных файлов.

Что можно улучшить

1. Если вы используете Sentry для трекинга ошибок, то при помощи sentry-cli можно заменить отправку трейсов по электронной почте на отправку их в Sentry.

2. Можно отправлять метрики успешного завершения задачи в Prometheus/VictoriaMetrics, при помощи curl (нужен pushgateway) или, что проще, использовать prometheus node_exporter textfile collector.