Применение виртуализации ввода-вывода для повышения масштабируемости ЦОДа и защиты инвестиций в существующее оборудование

мы открываем цикл публикаций, посвященный инновационной технологии виртуализации серверного ввода-вывода, в котором сделаем краткое сравнение с технологиями FCoE и iSCSI, детально рассмотрим устройство виртуализации ввода-вывода и архитектуру ЦОД с использованием данной технологии, ознакомим аудиторию с основными характеристиками и особенностями подключения и эксплуатации устройства виртуализации ввода-вывода, а также покажем результаты сравнительного тестирования.

Представляем вашему вниманию первую статью цикла.

Достаточно ли в нашем ЦОДе ресурсов для решения текущих и будущих задач?

В ЦОДах, в которых применяется традиционная методология статического разделения ресурсов, значительная часть оборудования, как правило, загружена слабо, а в некоторых критических местах постоянно наблюдаются перегрузки. Устранение одного узкого места по известному закону Мерфи сразу же приводит к выявлению других узких мест. В настоящее время в большинстве ЦОДов проведена консолидация систем хранения и серверов, а также используются системы управления виртуализацией серверов, применение которых позволяет динамически распределять ресурсы и прогнозировать момент возникновения потребности в дополнительных серверных мощностях, узлах коммутации, ресурсах систем хранения. Теперь с уверенностью можно рассчитать, к какой дате требуется оперативная память или сервер, или определенное количество жестких дисков, или дисковая полка. И пока это вписывается в возможности расширения существующего оборудования, расходы сравнительно небольшие. Однако когда речь заходит о вводе новой серверной стойки, особенно с серверами значительно большей производительности, данное изменение затрагивает большее количество подсистем ЦОДа: в первую очередь ядра LAN и SAN, в которые ранее были инвестированы значительные средства и которые бы хотелось сохранить.

Какие архитектуры и технологии можно использовать для сохранения инвестиций в оборудование ЦОДа?

Классическая архитектура (Ethernet + FC)

При классическом общепринятом подходе в ЦОДе существуют две полностью независимые сети — LAN и SAN, — имеющие свои коммутаторы ядра и доступа. При этом в серверы устанавливаются сетевые адаптеры обоих типов, которые дублируются при необходимости резервирования. Физически коммутаторы ядра LAN и SAN располагаются, как правило, в выделенном секторе ЦОДа.

В серверные шкафы устанавливаются коммутаторы доступа, так называемые TOR- коммутаторы (Top Of Rack). Как правило, используют по одному коммутатору каждого типа, а для повышения отказоустойчивости и резервирования по два коммутатора. Коммутаторы доступа и ядра соединяются по магистральным линиям связи. При необходимости добавления нового шкафа или стойки с серверами такая система легко масштабируется: добавляется стойка с серверами и TOR-коммутаторами, а в коммутаторы ядра добавляются необходимые интерфейсные модули, и прокладываются новые соединительные линии.

Данный подход наиболее оправдан, если ранее была обеспечена избыточность ядра (имеются свободные слоты в магистральных устройствах).

Конвергентная архитектура на основе расширений протоколов Ethernet

Поскольку классическая схема изначально должна иметь значительную избыточность, в последнее время предпринимаются серьезные попытки обеспечить конвергенцию сетей LAN и SAN: c одной стороны это технология 10 Gbit iSCSI, с другой — технология FCoE. Применение первой технологии позволяет использовать существующие в организации коммутаторы ядра LAN, но требует полной замены систем хранения в SAN (нужны интерфейсы подключения 10G iSCSI). Применение второй технологии сохраняет инвестиции в FC SAN, но требует полной замены коммутаторов ядра и доступа. Обе технологии обеспечивают конвергенцию и экономию на коммутаторах и адаптерах, но их применение экономически оправдано, когда речь идет о полной замене одной из подсистем ЦОДа.

Архитектура с использованием инновационной технологии виртуализации серверного ввода-вывода

Если ранее в ЦОД были сделаны значительные инвестиции (как в SAN, так и в LAN), но требуется увеличить серверные ресурсы, можно использовать новую технологию виртуализации ввода-вывода, в которой используется коммутация на уровне шины PCI-E. Это наиболее естественный для серверов способ коммутации, поскольку в современных серверах на процессорах Intel Xeon E5 контроллер PCI-E встроен непосредственно в процессор. Такие процессоры умеют обрабатывать запросы ввода-вывода непосредственно в собственной кэш-памяти без обращения в оперативную память, что повышает производительность операций ввода-вывода до 80 %. Коммутатор виртуализации ввода-вывода (далее IOV — Input Output Virtualization) имеет входы для подключения серверов по шине PCI-E, а также интерфейсные модули для подключения к LAN и SAN. Такие интерфейсные модули распознаются драйверами мониторов виртуальных машин (гипервизоров) и операционных систем как стандартные адаптеры LAN и SAN (фактически они становятся коллективными для серверной фермы), и полоса пропускания в сети LAN и SAN распределяется динамически. Возможно также выделение полосы, приоритезация и агрегация трафика. Динамическое разделение полосы пропускания магистральных связей дает возможность экономии, например, за счет уменьшения количества интерфейсов и, соответственно, уменьшения количества портов на коммутаторах ядра. Таким образом обеспечивается защита инвестиций и снижается стоимость владения. Кроме этого, будут значительно уменьшены задержки доступа к ядру LAN и к СХД за счет исключения коммутации в TOR.

Описание устройства DEPO IOV Switch можно посмотреть здесь.

Каким образом производится встраивание серверной фермы с виртуализацией ввода-вывода в существующую инфраструктуру ЦОДа?

Процедура добавления серверной фермы с виртуализацией ввода-вывода мало отличается от аналогичной процедуры добавления серверов с физическими адаптерами. Отличия только в настройке коммутаторов IOV и TOR. У IOV имеется некоторое преимущество: при перемещении (живой миграции) виртуальных серверов в пределах серверной фермы, подключенной к устройству IOV, никаких дополнительных настроек не требуется. IOV позволяет разделить процесс администрирования серверной фермы и ядра сети между различными группами администраторов. В случае если к моменту внедрения новой серверной фермы на коммутаторах ядра не будет свободных портов, но будет запас по производительности, можно избежать дорогостоящей модернизации коммутаторов ядра. Достаточно лишь заменить TOR-коммутаторы на IOV в имеющихся стойках и разделить между ними существующие порты на коммутаторе ядра. Для подключения существующих серверов к IOV существует единственное требование: наличие 1-2 свободных слотов PCI-E 1.0 или 2.0 с разъемом x8.

Какие способы более детального ознакомления с новой технологией виртуализации ввода-вывода доступны в настоящее время?

Мы проводим обучение по развертыванию тестовой фермы, подключение к LAN, SAN, VMWare vCenter, перенос виртуальной машины между серверами фермы, перенос настроек на второй коммутатор ввода-вывода, их резервное копирование и восстановление, добавление нового физического сервера и многое другое. После проведения обучения мы можем передать оборудование на тестирование, в том числе с новыми серверами, предварительно настроенными и подготовленными для подключения к ЦОДу заказчика (имеется два демокомплекта).

В чем заключаются преимущества устройств виртуализации ввода-вывода перед другими решениями?

Первое преимущество состоит в том, что это, пожалуй, наиболее эффективное решение для того, чтобы увеличить максимально возможное число виртуальных машин, которое можно запустить на одном физическом сервере (за счет большой полосы пропускания PCI и возможности агрегирования интерфейсов, по сравнению с применением 10GbE адаптеров – в 2,5 раза).

Второе значительное преимущество технологии виртуализации ввода-вывода — уменьшение задержек сетевых операций ввода-вывода более чем в два раза, что может оказаться ключевым преимуществом для применения IOV в подсистемах ЦОДа, на которых развернуты финансовые системы (за счет уменьшения времени обработки транзакций и передачи сетевого трафика между серверами по высокоскоростной шине PCI-E), а также в телекоммуникационных системах для обеспечения требуемого качества обслуживания.

Другие преимущества и выгоды

• Упрощение администрирования. Используя данное устройство, системный администратор может назначить любой интерфейс ввода-вывода любому серверу одним щелчком мыши. Динамическое распределение ресурсов помогает оптимизировать конфигурацию в соответствии с изменяющимися условиями по нагрузке.
• Общее уменьшение количества промежуточных коммутаторов, сетевых адаптеров, кабелей может обеспечить снижение капитальных и операционных затрат (CAPEX до 40 % и OPEX до 60 %).

Кроме того, обеспечивается защита инвестиций в существующее оборудование LAN и SAN при добавлении новой серверной фермы, возможность использования других модулей ввода-вывода. В ближайшее время планируется выпуск интерфейсных модулей для подключения к сетям SAS2 и коллективного использования ресурсов GPU.

При построении частного облака «с нуля» под управлением платформы виртуализации VMWare и Microsoft использование технологии виртуализации ввода-вывода — наиболее верный выбор, поскольку данная технология позволяет полностью использовать все возможности, предоставляемые современными платформами виртуализации и облачных вычислений.

Устройства DEPO IOV Switch, в частности, используются в типовом решении DEPO Сloud 4000 для построения частных облаков, рассчитанных на более чем 2 000 рабочих мест.

senko,
ведущий менеджер по продукции DEPO Computers