Резервное копирование на удаленный сервер

Назрела необходимость замены медленного rdiff-backup на более шустрое решение для инкрементальных бекапов на удаленый сервер. Сперва рассматривался Rsnapshot, но причине того, что он не умеет без костылей делать бекапы именно на удаленные серверы от него отказались. Прочие аналоги нам также не подошли по тем или иным причинам. Искать что-то готовое на просторах github и допиливать под себя мы не захотели, поэтому было решено написать новый скрипт с нуля своими силами. Главная цель сделать решение для инкрементального бекапа на удаленный сервер схожее с rdiff, но с использованием жестких ссылок rsync.

Скрипт выложен в нашем репо на github, будем рады получить отзывы, советы, коммиты!

Инструкция по приминению нашего решения на примере CentOS 6.x

Подготовка сервера бэкапов.

Общая настройка.

Устанавливаем rsync и xinetd:
yum -y install rsync xinetd

Добавляем в атозагрузку сервис xinetd:
chkconfig --add xinetd

Разрешаем rsync
vi /etc/xinetd.d/rsync

Меняем disable = yes на disable = no
и создаем файл конфигурации /etc/rsyncd.conf

И добавляем в него:
pid file = /var/run/rsyncd.pid log file = /var/log/rsyncd.log
На этом общую настройку заканчиваем и переходим к настройке бэкапа под конкретный сервер.

Настройка окружения для бэкапа сервера.

Добавляем пользователя если он не еще не добавлен:

usernames=backup useradd -g backups $usernames rm -f /home/$usernames/.bash* mkdir /home/$usernames/.ssh /home/$usernames/rsyncbackups chown -R $usernames:backups /home/$usernames chown -R root:root /home/$usernames/.ssh touch /home/$usernames/.ssh/authorized_keys 

Блок с ключом необходимо заменить на сгенерированные данные id_rsa.pub:
no-port-forwarding,no-X11-forwarding,no-pty ssh-rsa ---your-ssh-key-here--- root@backup.example.com

Добавляем в /etc/rsyncd.conf

cat << EOF >> /etc/rsyncd.conf [$usernames] comment = backups for $usernames path = /home/$usernames/rsyncbackups use chroot = true uid = root gid = root log file = /var/log/rsyncd/$usernames.log read only = false write only = false hosts allow = 1.2.3.4 hosts deny = * transfer logging = false EOF 

где:
path = /home/$usernames/rsyncbackups - путь где будут лежать бэкапы
log file = /var/log/rsyncd/$usernames.log - путь к логам
hosts allow = 1.2.3.4 - IP с которого разрешен доступ к данному окружению
На этом, настройка серверной части завершена.

Настройка сервера клиента.

Для изменения параметров сервера бэкапов, исключений контейнеров из бэкапа, локальной папки (или ее отсутствия) достаточно внести изменения в файл
rsync-backup.local.conf

Исключения

Для исключений существуют файлы со списком исключений, указанных с каждой новой строки без первичного слеша (правила исключений для rsync).

srv/southbridge/etc/rsync-backup.exclude.dist - файл с общими исключениями
srv/southbridge/etc/rsync-backup.exclude.local.example - пример названия исключений для локального бэкапа
srv/southbridge/etc/rsync-backup.exclude.remote.example - пример название исключений для удаленного бэкапа

Cкрипт бэкапа проверяет наличие файлов srv/southbridge/etc/rsync-backup.exclude.local и srv/southbridge/etc/rsync-backup.exclude.remote и при их наличии добавляет исключения при бэкапах. Если локальный бэкап отменили — локальные исключения добавляются в удаленные.

Включения

Особенностью этого скрипта является возможность включения определенных файлов или каталогов из исключенной директории выше иерархией. Для этого нужно создать файлы
/srv/southbridge/etc/rsync-backup.include.local
/srv/southbridge/etc/rsync-backup.include.remote
соотвественно для локальных и удаленных включений.
Если нужно включить конкретный файл, то необходимо указать его путь без первичного слеша, к примеру:
var/log/nginx/server.log
Если же нужно рекурсивно включить директорию, то нужно указать включение так:
var/log/nginx/**
Каждое новое включение с новой строки без первичного слеша.

При работе включений будет бэкапиться вся иерархия директорий контейнера, даже если раннее было добавлено исключение определенных директорий, но бэкапиться будет именно директории без файлов.
Это особенность работы rsync, к сожалению другого пути пока не нашли.
Часть скрипта для работы включений:

     if [ -f "$LOCAL_INCLUDE" ]; then           e "sync include"            e "rsync -ax --include=*/ --include-from=$LOCAL_INCLUDE --exclude=* --link-dest=../../Latest $VZ_PRIVATE/$VEID $LOCAL_DIR/$VEID/$WHICH/Processing$DATE"            LLOG=`rsync -ax --include=*/ --include-from=$LOCAL_INCLUDE --exclude=* --link-dest=../../Latest $VZ_PRIVATE/$VEID $LOCAL_DIR/$VEID/$WHICH/Processing$DATE 2>&1`       fi 

Дальнейшая работа с бэкапами

По умолчанию скрипт будет создавать бэкапы: 7 дневных, 4 недельных и 1 месячный для изменения этого в
/srv/centos-admin.ru/etc/rsync-backup.local.conf можно вписать иные цифры следующих параметров

DAILY=7
WEEKLY=4
MONTHLY=1

Инкрементальные бэкапы производятся с использованием хардлинков. Поэтому, чтобы сократить объем дискового пространства занимаемого бэкапом, при добавлении исключений, и при чистке бэкапов от этих исключений нужно будет удалить соответствующие директории в каждой папке бэкапов. Конечно можно написать скрипт для автоматизации этой рутины, это в планах.

В заключении, какой выйгрыш по времени мы все-таки получили:

Cравнительный тест rdiff vs. rsync:

Сравнение времени выполнения бэкапа:
1. Первичный бэкап контейнера в 5Gb (локальный и удаленный)
rdiff-backup — 6 минут 30 секунд
rsync-backup — 1 минута 34 секунды

2. Вторичный бэкап, изменения в контейнерах не было
rdiff-backup — 30 секунд
rsync-backup — 2 секунды

3. Вторичный бэкап, в контейнер добавлена папка c дистрибутивом debian (не iso) в 4.7Gb
rdiff-backup — 11 минут 32 секунды
rsync-backup — 2 минуты 15 секунд

И на графиках, первый скачек — rdiff, второй — rsync