Что мы знаем о серверах высокой плотности

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.

Блейд-сервера (Blade)

На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано — был создан сервер высокой плотности.

За пионерами последовали и гиганты: Intel, IBM, HP. Далее — DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др.

Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.

Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.

В чем преимущества блейд-серверов? Давайте выделим основные моменты:

1. Всё расположено в одном корпусе-шасси.
2. Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
3. Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
4. Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
5. Горячая замена всех сменных компонентов.
6. Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
7. Плотность размещения в шкафу.

В чем слабые стороны? Основные недостатки, которые видятся мне существенными:

1. Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
2. Ограничение по расширению конфигураций сервера-лезвия.
3. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
4. Ограниченность одновременного использования сетевых интерфейсов.
5. Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
6. Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
7. Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
8. Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).

Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e.

Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.

В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.

Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации:

• Первая пара (A) 1GbE;
• Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
• Третья пара (С) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).

Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.

Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.

Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.

При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.

TWIN-сервера

Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.

Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.

Плюсы TWIN-серверов:

1. Всё расположено в одном корпусе-шасси.
2. Наличие нескольких типов сетей в каждом сервере. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
3. Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
4. В ряде TWIN-серверов горячая замена всех сменных компонентов.
5. Использование стандартных PCI-e плат расширения.
6. Возможность организации встроенной дисковой системы хранения данных.
7. Плотность размещения в шкафу.
8. Цена ниже, чем Blade и RACK сервера.

Минусы:

1. Требуется наличие внешних сетевых коммутаторов.
2. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
3. В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
4. При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
5. Плотность размещения серверов ниже, чем у блейдов.

Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.

Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.

Микросервера

Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.

Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.

Вывод

Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.

Сделать однозначный вывод о том, какое из описанных выше решений подойдет наилучшим образом для конкретного заказчика, сложно. Так, например, плотность блейд-серверов гораздо выше, чем у TWIN-серверов, что позволяет разместить большее количество серверов на минимуме места. С другой стороны латентность модулей 10GbE для блейд-корзины может быть выше, чем латентность PCIe карточки 10GbE для TWIN-серверов. Или, пиковая производительность процессоров в высокоплотных Blade-серверах ниже, чем у процессоров в TWIN решениях. Но утверждать о преимуществах одного высокоплотного решения над другим можно только исходя из конкретной задачи. Готовы поделиться своим мнением с интересующимися, рассматривая их конкретные задачи.