Тестируем VPS на базе сервера KVM с томами, подключенными по iSCSI c файлера NexentaStor

Мы в HOSTKEY недавно запустили новый сетевой файлер на базе NexentaStor для целей виртуализации и представилось время субботним вечером протестировать работу виртуальных машин на базе системы виртуализации KVM.
Мы проверим быстродействие процессора, сети и диска с картинками и размышлениями, зная что за инфраструктура стоит за этим.

Итак, наша тестовая нода KVM собрана на базе сервера Intel SR1690WBR, там стоит 2 процессора Xeon E5607 2,26GHz, 64Гб памяти и SSD диск загрузки гипервизора и жесткий диск, куда KVM любит свопить редко используемые блоки памяти. Все это подключено через 1Gbps Ethernet к нашему файлеру на NexentaStor, параметры которого подробно описаны в этом посте. Процессоры не специально подобранные, а были в запчастях. Обычно мы используем ноды в три-четыре раза крупнее для этих задач. Типовая нода имеет 196Гб памяти и два 6 ядерных процессора E5645 или E5-2630. Второй гигабитный порт смотрит в мир Интернет.

На ноде стоит старый добрый KVM, которым управляет SolusVM.
Развернем себе крупную виртуалочку:

Обратите внимание на тонкий базовый том размером в 7Тб — это с Нексенты смонтирован по iSCSI том виртуального размера в 7Тб, а на нем сделан с помощью LVM том для хранения виртуалок. Если что-то пойдет не так с нодой, то мы перемонтируем диск на свободный сервер аналогичного размера и запустим все виртуальные машины с минимальным простоем.

Итак, у нас есть 1Г памяти, 4 ядра и 1Тб диска (sic!).
проверимся:

[root@testio ~]# free -m              total       used       free     shared    buffers     cached Mem:           996        712        283          0        125        460 -/+ buffers/cache:        126        870 Swap:           99          0         99 [root@testio ~]# df -h Filesystem            Size  Used Avail Use% Mounted on /dev/vda1             985G  901G   34G  97% / tmpfs                 499M     0  499M   0% /dev/shm  

теперь посмотрим как это выглядит на Нексенте:

т.е. террабайт мы выделили, а по факту диск мы не заняли. Нексента может не резервировать место, занимать его только когда оно понадобится на деле.

промеряем скорость дисков с помощью fio, как правильно описано тут уважаемым amarao.

[root@testio ~]# cat fio.ini [readtest] blocksize=4k filename=/dev/vda rw=randread direct=1 buffered=0 ioengine=libaio iodepth=16  [writetest] blocksize=4k filename=/tmp/xxx size=900G rw=randwrite direct=1 buffered=0 ioengine=libaio iodepth=16 

обратите внимание — у нас 1Тб диск и 900Гб тестовый файл для записи. Это не влезет в кэш Нексенты никак, даже боком. Если файлик сделать меньше, цифры увеличатся.

получим удивительный результат (убрал немного букв):

readtest: (groupid=0, jobs=1): err= 0: pid=4075: Sun Jan  2 01:52:14 2000   read : io=1307.1MB, bw=28797KB/s, iops=7199 , runt= 46509msec     clat (usec): min=58 , max=474382 , avg=2202.60, stdev=9679.77     bw (KB/s)  : min= 1280, max=40624, per=100.00%, avg=29170.78, stdev=10972.45     lat (usec) : 100=0.01%, 250=0.01%, 500=0.04%, 750=0.28%, 1000=0.73%     lat (msec) : 2=89.14%, 4=6.86%, 10=1.20%, 20=1.10%, 50=0.51%     lat (msec) : 100=0.03%, 250=0.03%, 500=0.05%   cpu          : usr=4.79%, sys=18.70%, ctx=146562, majf=0, minf=41  writetest: (groupid=0, jobs=1): err= 0: pid=4076: Sun Jan  2 01:52:14 2000   write: io=473612KB, bw=10190KB/s, iops=2547 , runt= 46478msec     clat (usec): min=247 , max=1000.7K, avg=6225.70, stdev=20751.20      lat (msec): min=1 , max=1000 , avg= 6.28, stdev=20.89     bw (KB/s)  : min=   13, max=14792, per=100.00%, avg=10431.00, stdev=4163.53     lat (usec) : 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%     lat (msec) : 2=0.07%, 4=20.12%, 10=76.81%, 20=0.93%, 50=1.05%     lat (msec) : 100=0.69%, 250=0.15%, 500=0.12%, 750=0.02%, 1000=0.01%     lat (msec) : 2000=0.01%  

что получается:
Очередь 64: чтение 6200 IOPS и 10ms, запись 1200/44
Очередь 16: чтение 7200 IOPS и 2,4ms, запись 2500/6
Очередь 1: чтение 1260 IOPS и 4ms, запись 727/8

Не будем забывать, что диски у нас смонтированы по iSCSI через обычный Gigabit Ethernet — это верные 1мс в один конец.

Качаем файл с яндекса:

[root@testio ~]# wget ftp://ftp.yandex.ru/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-bin-DVD1.iso --2000-01-02 02:18:54--  ftp://ftp.yandex.ru/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-bin-DVD1.iso Connecting to ftp.yandex.ru|213.180.204.183|:21... connected. Logging in as anonymous ... Logged in! ==> PASV ... done.    ==> RETR CentOS-6.3-x86_64-bin-DVD1.iso ... done. Length: 4289386496 (4.0G) (unauthoritative)   1% [>                         ] 69,638,574  10.7M/s  eta 6m 8s   ^C  

интерфейс у нас 100М, раскачивается ровно в полку.

По быстродействию многоядерного процессора на Линуксе сложно однозначно задать систему координат для сравнения, если кто знает как это сделать — подскажите. В Винде я обычно ориентируюсь на Passmark Performance test, так как там есть бенчи практически всех процессоров этого века.

Вывод /proc/cpuinfo:

processor       : 0 vendor_id       : GenuineIntel cpu family      : 6 model           : 13 model name      : QEMU Virtual CPU version (cpu64-rhel6) stepping        : 3 cpu MHz         : 2266.638 cache size      : 4096 KB physical id     : 0 siblings        : 4 core id         : 0 cpu cores       : 4 apicid          : 0 initial apicid  : 0 fpu             : yes fpu_exception   : yes cpuid level     : 4 wp              : yes flags           : fpu de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pse36 clflush mmx fxsr sse sse2 ht syscall nx lm unfair_spinlock pni cx16 hypervisor lahf_lm bogomips        : 4533.27 clflush size    : 64 cache_alignment : 64 address sizes   : 40 bits physical, 48 bits virtual power management: 

и так еще 3 раза. Ядер на виртуалку можно сделать до 8.

То есть, в сухом остатке:

1) производительность дисковой подсистемы виртуальной машины на базе iSCSI файлера Nexenta примерно в 70 и более раз быстрее чем на пара дисков в RAID1 на SATA. У нас часто любят брать в аренду сервера на X3440 или E3-1230, ставят туда 32Гб памяти и 2 диска по 2Гб. Нарезают мелко на 30-50 виртуалок и продают недорого. Там может быть не более 200 IOPS на всех, остерегайтесь подделок. Просите тест и проверяйте с помощью fio.

2) Тонкое выделение и дедупликация — использование современного файлера позволяет нам сильно экономить на дисковых массивах, что сказывается на цене для пользователя самым хорошим образом.

3) использование KVM исключает грязный овер-комитмент системы. Сколько памяти выделено на виртуалку, столько она и получила. Память сейчас в магазине недорогая и ставить ее можно много, нет смысла экономить.

4) Мощность и быстрота современных процессоров позволяет ставить на одну ноду до 200 машин — 6 ядерные 12 поточные процессоры так быстро разгребают очередь задач, что редко можно увидеть регулярную нагрузку больше 50-60% по процессорам. Это тоже влияет на цену самым прямым образом.

5) с помощью iostat на ноде видно как на ладони, какая виртуалка как гоняет свой кусок LVM. Нарушители и абузеры, создающие паразитную нагрузку в течение длительного времени могут быстро идентифицироваться и переводится в специальный загон, где они не причиняют вреда соседям.

6) больше IOPS — меньше удельная нагрузка на файлер и ноду. Приложения работают быстрее, больше тиков процессора остается свободным.

Надеюсь, это будет полезно читателю если у него возникнет необходимость взять себе несколько виртуалок для дела. Желаете потестить сами? Обращайтесь, тест-драйв на неделю бесплатно.