Клонирование ОС под шифрованным LVM на меньший по объему диск

В рабочих процессах клонирование Linux-хостов для меня стало обычным делом. Но однажды пришлось клонировать сервер с LVM и шифрованием LUKS на меньший по объему диск. И оказалось не все так просто.

Прошу заметить, у меня работал этот метод исключительно на железных серверах. На KVM с qcow2 дисками это сделать не получилось, система после разблокировки LUKS сваливалась в initframfs с ошибками, что отсутствует /bin и /sbin. Это последствия клонирования с ошибками, возможно надо использовать другие инструменты, например dd.

Ошибки, с которыми я столкнулся на виртуальных машинах

Дано:

• Сервер Debian debian-src с шифрованным LVM на диске sda объемом 20GB, который занят на ~3GB.

• Чистый диск sdb объемом 15GB, на который необходимо перенести debian-src

Что не так с шифрованным LVM?

В самом начале я даже и не думал, что что-то может пойти не так, посему просто загрузился с Clonezilla, через режим Expert указал флаг -icds, который пропускает проверку размера диска назначения. Что позволяет склонировать диск большого объема на диск меньшего объема при условии, что больший диск использует место, не превышающее объем меньшего диска.

Но под конец клонирования я столкнулся с ошибкой нехватки места на диске назначения:

И тут стало ясно: LVM не позволяет просто так склонировать диск, его нужно уменьшать, сложности добавило наличие шифрование LUKS.

Как уменьшить шифрованный LVM?

Для начала загружаемся с Live-CD на debian-src (У меня под рукой был Linux Mint)

1. Расшифровываем LUKS /dev/sda5, даем тому название enc и выводим информацию по PV (физическим томам) и LV (логическим томам)

root@mint:~# cryptsetup open /dev/sda5 enc Enter passphrase for /dev/sda5:   root@mint:~# pvs   PV              VG            Fmt  Attr PSize  PFree   /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 44.00m  root@mint:~# lvs   LV     VG            Attr       LSize   root   debian-src-vg -wi-ao---- <18.51g   swap_1 debian-src-vg -wi-a----- 976.00m  root@mint:~# df -h /dev/mapper/debian--src--vg-root Filesystem                        Size  Used Avail Use% /dev/mapper/debian--src--vg-root   19G  1.3G   16G   8%

Видим, что PV полностью заполнен, а в LV корня свободно 16GB, необходимо PV уменьшить.

2. Начинаем уменьшать объем LV debian--src--vg-root. Уменьшать будем все на 10GB.

root@mint:~# lvresize --resize -y -L -10G /dev/debian-src-vg/root Do you want to unmount "/media/mint/39551c0b-2da8-4303-8de5-65e7d6c552e9" ? [Y|n] y fsck from util-linux 2.34 resize2fs 1.45.5 (07-Jan-2020) Resizing the filesystem on /dev/mapper/debian--src--vg-root to 2230272 (4k) blocks. The filesystem on /dev/mapper/debian--src--vg-root is now 2230272 (4k) blocks long.    Size of logical volume debian-src-vg/root changed from <18.51 GiB (4738 extents) to <8.51 GiB (2178 extents).   Logical volume debian-src-vg/root successfully resized.

Ключ -y разрешает размонтировать LV перед началом ресайза

3. Если у вас есть swap, то после 2 шага у нас останется свободное пространство между LV root и swap. Давайте удалим его.

root@mint:~# pvs -v --segments   PV              VG            Fmt  Attr PSize  PFree  Start SSize LV     Start Type   PE Ranges                   /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g     0  2178 root       0 linear /dev/mapper/enc:0-2177      /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g  2178  2560            0 free                               /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g  4738   244 swap_1     0 linear /dev/mapper/enc:4738-4981   /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g  4982    11            0 free                              root@mint:~# pvmove --alloc anywhere /dev/mapper/enc:4738-4981   /dev/mapper/enc: Moved: 2.87%   /dev/mapper/enc: Moved: 100.00%

Обращаем внимание на PE Ranges и видим, что между LV root и swap_1 есть свободное пространство, перемещаем swap /dev/mapper/enc:4738-4981 поближе к root.

После перемещения видим, что свободное пространство переместилось в конец:

root@mint:~# pvs -v --segments   PV              VG            Fmt  Attr PSize  PFree  Start SSize LV     Start Type   PE Ranges                   /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g     0  2178 root       0 linear /dev/mapper/enc:0-2177      /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g  2178   244 swap_1     0 linear /dev/mapper/enc:2178-2421   /dev/mapper/enc debian-src-vg lvm2 a--  19.50g 10.04g  2422  2571            0 free 

4. Начинаем уменьшать LUKS партицию. В первую очередь посмотрим размер:

root@mint:~# cryptsetup status enc /dev/mapper/enc is active and is in use.   type:    LUKS2   cipher:  aes-xts-plain64   keysize: 512 bits   key location: keyring   device:  /dev/sda5   sector size:  512   offset:  32768 sectors   size:    40906752 sectors   mode:    read/write

Нужное нам значение — size: 40906752 sectors
Воспользуемся формулой вычитания объема LUKS-партиции:
LUKS_size_sectors - значение_уменьшения_в_гб * 1024 * 1024 * 2 = значение для cryptsetup resize

Я уменьшаю LUKS на 10GB, значения в моем случае: 40906752-10*1024*1024*2=19935232

root@mint:~# cryptsetup resize enc -b 19935232 Enter passphrase for /dev/sda5:

Выведем информацию о LUKS партиции, она нам пригодится позже. Нас интересует offset и size:

root@mint:~# cryptsetup status enc /dev/mapper/enc is active and is in use.   ...   offset:  32768 sectors   size:    19935232 sectors   ...

5. Деактивируем VG (Группу томов) и закрываем LUKS.

root@mint:~# vgchange -a n debian-src-vg   WARNING: Device /dev/mapper/enc has size of 19935232 sectors which is smaller than corresponding PV size of 40906752 sectors. Was device resized?   WARNING: One or more devices used as PVs in VG debian-src-vg have changed sizes.   0 logical volume(s) in volume group "debian-src-vg" now active  root@mint:~# cryptsetup close enc

Учтите, все LV должны быть отмонтированы, иначе получите ошибку.
Если после этого шага вы примонтируете LUKS обратно, то будет необходимо повторить шаги 4 и 5.

Видим предупреждение о том, что LUKS партиция меньше, чем PV в VG debian-src-vg. Это мы починим чуть позже.

6. Начинаем уменьшать саму партицию диска sda5, потому что там располагается корень системы.

root@mint:~# lsblk NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT loop0    7:0    0  1.9G  1 loop /rofs sda      8:0    0   20G  0 disk  ├─sda1   8:1    0  487M  0 part  ├─sda2   8:2    0    1K  0 part  └─sda5   8:5    0 19.5G  0 part  root@mint:~# parted /dev/sda GNU Parted 3.3 Using /dev/sda (parted) unit s                                                            (parted) p                                                                 Model: ATA QEMU HARDDISK (scsi) Disk /dev/sda: 41943040s Sector size (logical/physical): 512B/512B Partition Table: msdos Disk Flags:   Number  Start     End        Size       Type      File system  Flags  1      2048s     999423s    997376s    primary   ext2         boot  2      1001470s  41940991s  40939522s  extended  5      1001472s  41940991s  40939520s  logical

Воспользуемся формулой вычисления нового размера партиции: NEW_PARTITION_SECTOR_END = PARTITION_SECTOR_START + (LUKS_SIZE_SECTORS + LUKS_OFFSET_SECTORS) - 1

Значения в моем случае: 1001472+(19935232+32768)-1=20969471

(parted) resizepart 5 20969471 Warning: Shrinking a partition can cause data loss, are you sure you want to continue? Yes/No? yes                                                                (parted) q                                                                 Information: You may need to update /etc/fstab.

7. Монтируем LUKS, активируем VG и видим, что у нас получилось сжать диски. Но ошибка, что LUKS партиция меньше, чем PV в debian-src-vg осталась, сейчас мы ее устраним.

root@mint:~# cryptsetup luksOpen /dev/sda5 enc Enter passphrase for /dev/sda5:  root@mint:~# vgchange -a y debian-src-vg   WARNING: Device /dev/mapper/enc has size of 19935232 sectors which is smaller than corresponding PV size of 40906752 sectors. Was device resized?   WARNING: One or more devices used as PVs in VG debian-src-vg have changed sizes.   2 logical volume(s) in volume group "debian-src-vg" now active  root@mint:~# lsblk NAME                         MAJ:MIN RM  SIZE RO TYPE sda                            8:0    0   20G  0 disk   ├─sda1                         8:1    0  487M  0 part   ├─sda2                         8:2    0    1K  0 part   └─sda5                         8:5    0  9.5G  0 part     └─enc                      253:0    0  9.5G  0 crypt      ├─debian--src--vg-root   253:1    0  8.5G  0 lvm     └─debian--src--vg-swap_1 253:2    0  976M  0 lvm   

8. Уменьшаем размер PV, а также максимально расширим LV root в пределах уменьшенного PV.

root@mint:~# pvresize /dev/mapper/enc   WARNING: Device /dev/mapper/enc has size of 19935232 sectors which is smaller than corresponding PV size of 40906752 sectors. Was device resized?   WARNING: One or more devices used as PVs in VG debian-src-vg have changed sizes.   Physical volume "/dev/mapper/enc" changed   1 physical volume(s) resized or updated / 0 physical volume(s) not resized                                                 root@mint:~# lvresize -l +100%FREE /dev/debian-src-vg/root    Size of logical volume debian-src-vg/root changed from <8.51 GiB (2178 extents) to 8.55 GiB (2189 extents).   Logical volume debian-src-vg/root successfully resized.    root@mint:~# e2fsck -f /dev/debian-src-vg/root e2fsck 1.45.5 (07-Jan-2020) Pass 1: Checking inodes, blocks, and sizes Pass 2: Checking directory structure Pass 3: Checking directory connectivity Pass 4: Checking reference counts Pass 5: Checking group summary information /dev/debian-src-vg/root: 37219/561936 files (1.4% non-contiguous), 408261/2230272 blocks  root@mint:~# resize2fs /dev/debian-src-vg/root resize2fs 1.45.5 (07-Jan-2020) Resizing the filesystem on /dev/debian-src-vg/root to 2241536 (4k) blocks. The filesystem on /dev/debian-src-vg/root is now 2241536 (4k) blocks long.

9. Посмотрим как изменился размер наших дисков, PV и LV. С 19.5G мы уменьшили диск до 9.5G, ровно на 10 гигабайт.

root@mint:~# lsblk NAME                         MAJ:MIN RM   SIZE RO TYPE sda                            8:0    0    20G  0 disk   ├─sda1                         8:1    0   487M  0 part   ├─sda2                         8:2    0     1K  0 part   └─sda5                         8:5    0   9.5G  0 part     └─enc                      253:0    0   9.5G  0 crypt      ├─debian--src--vg-root   253:1    0   8.6G  0 lvm        └─debian--src--vg-swap_1 253:2    0   976M  0 lvm     root@mint:~# pvs   PV              VG            Fmt  Attr PSize PFree   /dev/mapper/enc debian-src-vg lvm2 a--  9.50g    0   root@mint:~# lvs   LV     VG            Attr       LSize      root   debian-src-vg -wi-a-----   8.55g   swap_1 debian-src-vg -wi-a----- 976.00m

10. На этом мы закончили все манипуляции с размерностью дисков. Осталось дело за малым — взять Live CD Clonezilla и, как обычно, склонировать диск в экспертном режиме со флагом -icds

Процесс клонирования

1. Загружаемся в Clonezilla, выбираем клонирование device-device, режим Expert, disk_to_local_disk

2. Выбираем наш уменьшенный sda как Source disk.

3. Ставим флаг -icds

4. На этапе клонирования таблицы разметки, выбирайте флаг -k0, чтобы таблица склонировалась с Source диска.

5. Подтверждаем, что хотим склонировать на выбранный нам sdb диск и ждем окончания клонирования.

Увеличиваем размер диска

После клонирования необходимо расширить второй диск, на который мы склонировали ОС (в моем случае это sdb)

1. Загружаемся в Live CD, разблокируем LUKS и проверяем диски. Видим, что скопировалась таблица разделов и система.

root@mint:~# cryptsetup open /dev/sdb5 enc Enter passphrase for /dev/sdb5:  root@mint:~# lsblk NAME    MAJ:MIN RM   SIZE RO TYPE  sda       8:0    0    20G  0 disk   ├─sda1    8:1    0   487M  0 part   ├─sda2    8:2    0     1K  0 part   └─sda5    8:5    0   9.5G  0 part   sdb       8:16   0    15G  0 disk   ├─sdb1    8:17   0   487M  0 part   ├─sdb2    8:18   0     1K  0 part   └─sdb5    8:21   0   9.5G  0 part     └─enc 253:0    0   9.5G  0 crypt

2. Попробуем расширить LUKS на максимум.

root@mint:~# cryptsetup -v resize 'enc' Enter passphrase for /dev/sdb5:  Key slot 0 unlocked. Command successful.  root@mint:~# lsblk NAME    MAJ:MIN RM   SIZE RO TYPE ... sdb       8:16   0    15G  0 disk   ├─sdb1    8:17   0 365.3M  0 part   ├─sdb2    8:18   0     1K  0 part   └─sdb5    8:21   0  14.7G  0 part     └─enc 253:0    0  14.6G  0 crypt 

Теперь мы видим как sdb5 и enc расширены насколько это возможно

Спойлер: через GParted у вас расширить не получится — выдает ошибку на команде cryptsetup -v resize

3. Посмотрим информацию о PV и замечаем, что PV enc все еще остался размером в 9.5GiB. Нужно это исправить.

root@mint:~# pvdisplay -m   --- Physical volume ---   PV Name               /dev/mapper/enc   VG Name               debian-src-vg   PV Size               9.50 GiB / not usable 0 ...

4. Изменяем размер PV.

root@mint:~# pvresize /dev/mapper/enc    Physical volume "/dev/mapper/enc" changed   1 physical volume(s) resized or updated / 0 physical volume(s) not resized

5. Проверяем размер LV, видим что корень тоже еще не расширен. Изменяем размер LV.

root@mint:~# lvs   LV     VG            Attr       LSize      root   debian-src-vg -wi-------   8.55g                                                       swap_1 debian-src-vg -wi------- 976.00m  root@mint:~# lvresize -l +100%FREE /dev/debian-src-vg/root   Size of logical volume debian-src-vg/root changed from 8.55 GiB (2189 extents) to 13.67 GiB (3500 extents).   Logical volume debian-src-vg/root successfully resized.

6. Проверяем файловую систему и изменяем размер корня

root@mint:~# e2fsck -y /dev/debian-src-vg/root ... /dev/debian-src-vg/root: ***** FILE SYSTEM WAS MODIFIED ***** /dev/debian-src-vg/root: 24777/561936 files (1.5% non-contiguous), 293922/2241536 blocks  root@mint:~# resize2fs /dev/debian-src-vg/root resize2fs 1.45.5 (07-Jan-2020) Resizing the filesystem on /dev/debian-src-vg/root to 3584000 (4k) blocks. The filesystem on /dev/debian-src-vg/root is now 3584000 (4k) blocks long.

7. Проверяем размер диска, PV и LV

root@mint:~# lsblk NAME                         MAJ:MIN RM   SIZE RO TYPE ... sdb                            8:16   0    15G  0 disk   ├─sdb1                         8:17   0 365.3M  0 part   ├─sdb2                         8:18   0     1K  0 part   └─sdb5                         8:21   0  14.7G  0 part     └─enc                      253:0    0  14.6G  0 crypt      ├─debian--src--vg-root   253:1    0  13.7G  0 lvm        └─debian--src--vg-swap_1 253:2    0   976M  0 lvm     root@mint:~# pvs   PV              VG            Fmt  Attr PSize  PFree   /dev/mapper/enc debian-src-vg lvm2 a--  14.62g    0   root@mint:~# lvs   LV     VG            Attr       LSize   root   debian-src-vg -wi-a-----  13.67g   swap_1 debian-src-vg -wi-a----- 976.00m

Все! Теперь мы можем запускаться с нового диска. У меня есть пару серверов, которые я копировал таким образом и они стабильно работают больше полугода.
Эту статью я решил выложить на хабр из-за большого объема, более мелкие заметки я оставляю в своем тг-канале https://t.me/sdnv_funkhole.

Ссылки на ресурсы, которые помогли мне с этой задачей:

• https://wiki.archlinux.org/title/Resizing_LVM-on-LUKS

• https://unix.stackexchange.com/questions/41091/how-can-i-shrink-a-luks-partition-what-does-cryptsetup-resize-do

• https://ryandoyle.net/posts/expanding-a-lvm-partition-to-fill-remaining-drive-space