Обзор архитектур сети ЦОД

Ушедший 2012 год был богат на знаковые научные прорывы — и расшифровка генома Денисовцев, и посадка «Куриосити» на Марс, и выращенная из стволовой клетки мышь. Однако самым важным открытием 2012 года все однозначно признают событие, произошедшее в июле в CERN-е (Европейский центр ядерных исследований) — практическое подтверждение существования бозона Хиггса, «частицы бога», как окрестил ее Леон Макс Ледерман.

«Ну и причем здесь HP?» спросите вы. Компания НР давно и очень плотно сотрудничает с CERN, особенно в области сетевых технологий. Так, например, в CERN Openlab R&D ведутся перспективные разработки в области создания приложений под SDN-контроллер на базе НР, активным образом идут разработки систем сетевой безопасности и т.д. Поэтому в данном открытии компания НР принимала самое непосредственное участие. В буквальном смысле, помогала ловить бозон Хиггса с момента запуска LHC, т.к. сеть сбора и обработки информации с LHC построена на оборудовании HP. Чтобы понимать масштаб сети в CERN – это порядка 50 000 активных пользовательских устройств, более 10 000 километров кабеля, порядка 2500 сетевых устройств. Эта сеть переваривает каждый год примерно 15 Петабайт информации (огромное количество данных с детекторов — статистика от столкновений пучков частиц со скоростями почти равными скорости света). Вся эта масса данных обрабатывается в распределенной сети ЦОД. Именно там, в ЦОД-ах, на базе анализа гигантского объема статистики и «просеялась через сито частица бога».

Часть 2. Там, где просеивают «частицу бога»

По понятным причинам, я не могу привести здесь архитектуру сети ЦОД-ов CERN. Вместо этого, в следующей части приведу краткое описание типовых архитектур ЦОД, построенных на базе оборудования и технологий HP и реализованных в разных проектах.

Если совсем вкратце, то сеть современного ЦОД можно строить в один, два и три уровня. У каждого варианта есть свои предназначения. Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами. Примерно вот так это выглядит с точки зрения физического «каблирования» стоек:

И применяется она, как правило, в небольших ЦОД-ах, построенных в основном на блэйдах и ориентированных на виртуализацию. Примерно вот так ЦОД выглядит с точки зрения логики и используемых сетевых протоколов и технологий:

Следующий вариант сети в ЦОД – это двухуровневая архитектура. Она уже подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня в виде ToR (Top-of-Rack) коммутаторов. Такой дизайн хорошо подходит в случае, когда в ЦОД-е возникает потребность в дополнительной емкости портов или необходимо обеспечить дополнительный уровень терминации клиентского трафика (настройки сетевых политик и т.д.). ToR-дизайн, как его еще иногда называют, чаще всего применяется в случаях, когда большинство серверов в ЦОД монтируется в стойку (rack-mount). Примерные схемы приведены ниже:

Логическая архитектура с точки зрения используемых технологий и протоколов выглядит примерно вот так:

Ну и третий вариант дизайна – трехуровневый, иногда его еще называют EoR (End-of-Row). Этот вариант дизайна чаще реализуется для ЦОД, в которых общая емкость сети и количество широкополосных интерфейсов (начиная с 10 Гбит/с) являются ключевыми факторами. Хотя описанный дизайн основан на оборудовании HP, в него может быть интегрировано любое оборудование на базе действующих стандартов. Физическая архитектура выглядит примерно вот так:

В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам (такой вариант дизайна позволяет агрегировать очень большую портовую емкость), что нивелирует потенциальные проблемы такого дизайна. С точки зрения логики организации сети это выглядит примерно вот так:

Про все описанные выше варианты можно сказать, что они дают:

• L2 гибкость и простору – плоская L2-сеть лучше отвечает потребностям виртуализации. Если конечная цель ЦОД – поддержка виртуальных машин, плоская L2-сеть позволяет легко перемещать виртуальные машины между хостами.
• Отсутствие необходимости в STP/RSTP/MSTP – вместе с виртуальными коммутаторами, такой дизайн обеспечивает защиту от петель без использования STP.
• Быструю сходимость – в случае сбоев сеть сходится на порядок быстрее, чем при использовании традиционных протоколов семейства STP.
• Безопасность –
— 1-уровневый дизайн сети позволяет IPS-устройствам интегрироваться в оборудование ядра ЦОД в местах агрегации VLAN, что часто проще и удобнее.
— 2-х и 3-х уровневый дизайн позволяет распределить элементы сетевой защиты по уровням, что, в свою очередь, естественным образом обеспечивает эшелонированную защиту.

Какой вариант выбрать — в каждом конкретном случае решает архитектор сети и зависит это от множества факторов (технических требований к ЦОД, пожеланий конечных пользователей, прогнозов по развитию инфраструктуры, личного опыта, в конце концов, и т.д.).