Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.

Вследствие быстрого развития технологий на мировом рынке телекоммуникационных вычислений и систем хранения данных в 2019 году заметно повысились требования к сетевой инфраструктуре. Существовавшие технологии уже не могли обеспечить требуемую скорость и необходимую производительность для приложений. Новую высоту задали «три кита» новой технологической эры: облачные вычисления (Cloud Computing), большие данные (Big Data) и искусственный интеллект (AI). Четвертый «кит» – интернет вещей (IoT) – утратил первоначальный вес, растворившись в трех упомянутых выше направлениях. 

1. Технология 400GE: тогда и сегодня

В 2020 году международные вендоры провозгласили начало эры 400 GE. Российский рынок воспринял эту новость со здоровым скепсисом. Существует термин digital disrupt – цифровое потрясение или разрыв, – именно его рынок хотел избежать. Казалось бы, существующие технологии еще имели запас для модернизации. Да и не все понимали, что в этом цифровом рывке первично – высокая скорость ради самой скорости или объективная потребность в ней? Вернемся ненадолго в конец 10-х годов… 

• Многие ЦОД были построены с использованием классической архитектуры DCN. Они были достаточно удобны в эксплуатации и обладали простотой формирования резервных связей. В те годы мейнстримом были подключения по 10-25 Гбит/с и постепенный переход от трехзвенной архитектуры к архитектуре Clos – решению, позволяющему оптимизировать горизонтальный трафик.

• Сдерживающими факторами были как технологические ограничения – наиболее распространенным стандартом интерфейса на тот момент являлся PCIe 3.0 (сейчас уже есть версии 4.0 и 5.0), с которым работало соответствующее поколение процессоров. При этом большая часть дисковых накопителей использовала интерфейс SATA/SAS. Переход к более скоростному NVMe только начался.

• В инженерной инфраструктуре повсеместно использовались стойки по 5-7 кВт и структурированная кабельная система (СКС) для базовых топологий.

Рассмотрим требования к технической стороне информационно-коммуникационной инфраструктуры (ИКТ), которые формировались последние 5 лет. Примем за основу наших рассуждений утверждение, что требования к сети формирует и предъявляет не бизнес, а уровень развития приложений – то есть классическая организационная структура TOGAF и референсная архитектура от The Open Group IT4IT. 

Бум повышения зрелости технологий, их переход из фазы шумихи в фазу адаптации к реальному использованию заставил заказчиков из мира бизнеса переосмыслить критерии качественной трансформации всей сетевой инфраструктуры. Особенно это было видно по их желанию перенять модели успешных лидеров рынка – технологических гигантов в лице Facebook, Apple, Amazon, Netflix и Google. 

Сегодня, сложив все драйверы отраслей воедино, мы видим, что:

• Активное развитие бизнес-моделей и экосистем приводят к консолидации и трансформации ИКТ-ландшафта: например, экосистем МТС и Сбера.

• Примером успешного создания и выполнения ИТ-стратегий может служить программа «Надежность» банка ВТБ, появившаяся после прихода нового заместителя президента-председателя правления банка – Вадима Кулика.

• Иллюстрацией консолидации мощностей может послужить практика создания частного облака (Private Cloud) для всех дочерних организаций одной структуры – так, как это сделал «Росатом»/«Гринатом», где на этих принципах формируется отраслевой ИКТ-оператор. 

Данные подходы позволяют перейти от лоскутизации к качественному изменению ИКТ. Исходя из этого можно с большой долей уверенности предположить, что ведущие потребители цифровых услуг – телекоммуникационная и банковская отрасли, энергетический сектор, государственные сервисы (gosuslugi.ru и т.д.) – начали осознавать, что сетевая инфраструктура могла бы нарастить темпы своего развития и перестать отставать от тех требований, которые бизнес и ненасытные приложения постоянно предъявляют к ее технологическому уровню. Их динамика хорошо показана в статистических данных по рынку.

Согласно отчетам Dell’Oro Group, уже в текущем году стандарт 400GE в области ИИ не просто стал обыденностью, но и буквально на глазах превращается в устаревающую технологию. По мнению аналитиков Dell’Oro, в ближайшие 3-4 года его заменит 800/1600 GE… Похоже, что в наши дни потребности технологических единорогов делают сетевую инфраструктуру ЦОД’ов для back-end-вычислений устаревшей за 1,5-2 года. Прошли те времена, когда технические решения можно было использовать 5-7, а то и 10-15 лет.

На этом моменте вспоминается английский писатель и математик Льюис Кэрролл и его известная цитата «Ну, а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте! Если же хочешь попасть в другое место, — тогда нужно бежать по меньшей мере вдвое быстрее!». Он явно что-то знал про темпы развития ИИ в наше время…

1.1 Основные преимущества 400GE

Использование 400-гигабитного Ethernet (400GE) имеет ряд преимуществ, важных для повышения производительности сети и эффективности работы.

• Больше пропускной способности и рост производительности. Технология 400GE позволяет значительно увеличить пропускную способность ЦОД’ов. Таким образом, она обеспечивает более быстрый доступ к приложениям и сервисам, что является необходимым для облачных вычислений, а также для любой деятельности, требующей манипуляции с большими объемами данных.

• Экономическая эффективность. Предприятия могут сэкономить на стоимости оборудования, интегрируя несколько соединений с более низкими скоростями в один канал 400GE. Кроме того, снижается энергопотребление и потребности в дополнительных площадях для размещения оборудования.

• Масштабируемость. Способность обрабатывать постоянно растущий сетевой трафик без необходимости полной замены сетевой инфраструктуры делает 400GE перспективной технологией, которая оптимально подходит для масштабирования мощностей бизнесов.

1.2 В каких сферах применяется технология 400GE

• Центры обработки данных: в центрах обработки данных 400GE обеспечивает гораздо более высокую скорость передачи данных между серверами, а также системами хранения данных и сетевыми коммутаторами, тем самым поддерживая крупномасштабную виртуализацию и аналитику больших данных.

• Облачные сервисы: с развитием облачных вычислений технология 400GE позволяет быстро перемещать данные между устройствами и облачными сервисами, что значительно повышает производительность для пользователей, использующих приложения с интенсивным использованием полосы пропускания, такие как сети доставки контента (CDN), платформы потокового видео или системы ERP.

• Телекоммуникации: базовым сетям и периферийным узлам в телекоммуникационных инфраструктурах требуется более высокая пропускная способность за счет каналов Ethernet 400 Гбит/с, где они могут справляться с более интенсивным трафиком, обусловленным увеличением абонентской базы, которая поставляется с новыми услугами, такими как мобильная связь 5G и т.д.

• Высокопроизводительные вычисления (ИИ и HPC): сегодня, когда вычисления обходятся дорого с точки зрения времени, затрачиваемого на операцию, среды HPC используют технологию Ethernet 400 Гбит/с для соединения различных вычислительных кластеров вместе в одних и тех же стоечных шкафах (или даже в нескольких стойках рядом), чтобы обеспечить им доступ друг к другу с низкой задержкой. Это позволяет, например, проводить быстрое моделирование на основе огромных объемов научных данных, собранных в течение длительных периодов времени с различных датчиков по всему миру.

• Магистральные сети: поскольку интернет-трафик продолжает экспоненциально расти из года в год, поставщикам услуг попросту необходимо внедрять новые технологии: в частности, выводить порты Ethernet 400G на своих маршрутизаторах. Такие устройства должны уметь эффективно пересылать пакеты на большие расстояния, при этом удовлетворяя темпы роста в отношении спроса на полосу пропускания (особенно с учетом доставки контента через сети CDN, популярность которых стремительно растет).

1.3 Эволюция стандартов Ethernet: от 10 до 400 Гбит/с

Первоначально созданный в начале 2000-х годов стандарт 10 Gigabit Ethernet (GE) значительно улучшил высокоскоростные сетевые приложения для центров обработки данных. Затем Институт инженеров по электротехнике и электронике (IEEE) предложил стандарты 40G и 100G Ethernet, поскольку спрос на пропускную способность рос. Новые стандарты позволили увеличить скорость передачи данных, сохранив при этом обратную совместимость с существующей инфраструктурой.

В 2017 году IEEE ратифицировал спецификацию 400 GE (IEEE 802.3bs), которая представляла существенный скачок вперед с точки зрения более высоких скоростей, необходимых для облачных вычислений, аналитики больших данных и потокового видео высокой четкости. 

Эволюцию стандартов Ethernet от 10 до 400 Гбит/с хорошо показал создатель теории ограничений (TOC – Theory of Constraints) Элияху Голдратт в своей книге «Критическая цепь». Помимо справочной информации, таблица Голдратта наглядно демонстрирует, что IEEE активно перешел в риторике целесообразности от дата-центричности к вполне определенным областям, которые и стали драйверами для ускорения темпов разработки новых стандартов. 

2. Основные компоненты Ethernet 400G

Здесь я заканчиваю с вводной частью и предлагаю перейти к технологической стороне вопроса. Как мы поняли, в ландшафте Ethernet стандарт IEEE 802.3bs рассматривается как переломный момент, поскольку он в основном предназначен для обеспечения скорости передачи данных 400 Гбит/с за счет интеграции передовых технологий. Этот стандарт описал методику кодирования сигнала для скорости 400Gbps — PCS (Physical Coding Sublayer) 400GBASE-R, основанную на модуляции PAM4 с частотой 28ГГц, позволившую пропускать по электрическому бэкплейну (в PCB-картах) каналы 50Gbps и собирать из них (а именно из 8 таких подканалов) единый интерфейс 400GE. 

В дополнение к этому, он включает многополосные методы передачи, которые позволяют осуществлять транспортировку информации единого интерфейса Ethernet по нескольким физическим каналам одновременно, тем самым увеличивая пропускную способность без необходимости вносить существенные изменения в существующую инфраструктуру.

Более того, этот стандарт зафиксировал новые, разработанные отраслевыми консорциумами, формфакторы для разъемов под трансиверные модули на необходимые 400GE 8 подканалов — QSFP-DD и OSFP, из которых QSFP-DD был разработан с учетом совместимости с типовым для интерфейсов 40/100GE c форм-фактором QSFP, что позволяет новым устройствам с интерфейсами 400 GE на слотах QSFP-DD, обеспечивать плавную эволюцию существующей инфраструктуры от 40/100GE к 400GE. 

Кроме того, IEEE 802.3bs стандартизирует физическую среду для 400G Ethernet, т.е. соответствующие системы проводки и кабелей устанавливаются таким образом, чтобы обеспечить совместимость между оборудованием разных поставщиков, а также их местами развертывания. Все эти функции объединяются, чтобы создать прочную основу для сетевых решений, которые могут удовлетворить постоянно растущий спрос на полосу пропускания в современных цифровых экосистемах.

2.1 Варианты трансиверов и модуляций 

Как правило, выбор определенного типа оборудования сильно зависит от поставленной задачи и от архитектуры того унаследованного оборудования, которое уже имеется в ЦОД’е. Специфику работы с унаследованным оборудованием оставим «за скобками» – баланс выгоды и рисков, возникающий при этом, может стать темой отдельного разговора. Коснемся важного технического вопроса – как объединить новые и старые фрагменты сети? Для этого необходим трансивер – устройство, преобразующее сигнал из одного формата в другой, что позволяет передавать его по разным типам кабелей. 

Выбор трансиверов для наших проектов стандарта 400GE зависит, в частности, от чипа ASIC и схемы модуляции. Например, модуляция PAM4 используется в режиме 100/200/400GE, а вот NRZ – 50/100/200GE, и они несовместимы друг с другом. Кроме того, оборудование выбирается с учетом сценария в таблице комментариев. 

Стоит также обратить внимание на возможность использования брейкаут-режима (breakout mode) – когда происходит разделение одного физического порта с высокой пропускной способностью на несколько логических портов с меньшей пропускной способностью: т.е., порт 400GE переходит в режим работы 2x200GE или 4x100GE. Это может быть интересно при плавном переходе к новому уровню скоростей вычислений и передачи информации. Но, имейте в виду, что для работы в брейкаут-режиме, оборудование должно поддерживать такую функциональность, и могут понадобиться соответствующие кабели или адаптеры для подключения.

2.2 Сетевые чипы и их роль в технологической независимости

Постоянный рост пользовательских требований к производительности сетей приводит к тому что мы, производители и поставщики оборудования, тоже повышаем свои требования к производителям микросхем – чипмейкерам. Их готовность включиться в производство чипов современного уровня по модели Merchant Silicon помогает нам организовывать выпуск высокотехнологичной продукции в нашей стране.

Коммутатор – конструктивно сложное устройство, в котором используются разные алгоритмы обработки данных и, соответственно, разные типы микросхем: универсальный, но довольно медленный и энергозатратный CPU, быстрый специализированный ASIC – «сердце» коммутатора – и FPGA, адаптируемый пользователем под разные задачи. 

Надо сказать, что производители ASIC – самые дотошные переговорщики и требовательные партнеры. Они знают себе цену. Чип ASIC – как мотор для автомобиля. Наша задача, образно выражаясь, сконструировать автомобиль вокруг полученного мотора и отправить чертежи на завод. Это непросто, поэтому портфель заказов формируется с учетом технологической платформы коммутатора и доступности того или иного чипа, а на этом рынке есть из чего выбрать – посмотрите, как выросли возможности микросхем за период с 2010 года.

Как мы видим, законы Мура и Меткалфа до сих пор работают, и рост производительности сетевого чипсета это отлично иллюстрирует.

3. А 400G Ethernet улучшает работу центров обработки данных?

Сложные методы сигнализации и технологии передачи данных позволяют технологии 400GE увеличить пропускную способность центра обработки данных в пять раз. Это достигается за счет упрощения передачи информации по каналам с высокой пропускной способностью. Объединяя множество потоков данных в один с помощью оптических волокон и современных разъемов, 400GE сокращает количество требуемых физических соединений, тем самым минимизируя задержку, а также повышая энергоэффективность по всем направлениям в операциях ЦОД.

3.1 Увеличение пропускной способности ЦОД

Переход модуляции от устаревшего стандарта NRZ к PAM4 и DP-QPSK позволяет нам рассчитывать на хороший задел роста производительности сетей, но за все приходится платить… Очевидно, что более сложные современные сетевые устройства уже выходят на уровень энергопотребления мощного сервера. Так что в ближайшем будущем при проектировании сетевых устройств первоочередными станут вопросы оптимизации энергопотребления и, следовательно, отвода тепла. При этом прорабатываться они будут на уровне подбора материалов и оптимизации физического слоя трансиверов.

3.2 400GE в машинном обучении и ИИ

В среде искусственного интеллекта или машинного обучения внедрение 400GbE важно, поскольку эта технология может работать с большими наборами данных, а также позволяет выполнять их быструю обработку в реальном времени. Однако рассматривая работу в режиме GPU-to-GPU, мы увидим, что если архитектура сети не включает в себя переподписку, то поток трафика (traffic flow) может упереться в какой-то один медленный или нестабильный путь и будет тормозить весь кластер вычислений. Поэтому на уровне 400GE уже ведутся не только классические методики, по которым уже сейчас построено огромное количество фабрик по всему миру, но и дополнительные оптимизационные практики, как на уровне модели OSI (Open Systems Interconnection) в целом, так и на обеспечивающих слоях.

В настоящее время каждый вендор по-своему решает проблемы, связанные с инкастом трафика при использовании некоторых распределенных приложений путем оптимизации ECN в сети и контролем трафика Machine-to-Machine (M2M). Однако внушает оптимизм тот факт, что противостояние NVIDIA и AMD будет ускорять развитие технологий и давать больше возможностей для вычисления именно в среде 400GE+.

4. Выбор стратегии и адаптации

В настоящее время на рынке существуют два подхода, две стратегии – Merchant Silicon и проприетарный Silicon. В первом случае у производителя огромный выбор устройств с разными параметрами (такую стратегию выбирают, например, Arista Networks и Juniper Networks), во втором – идеальная совместимость чипов собственного производства с собственными приложениями (яркий пример – Cisco SiliconOne и Huawei P5). Каждый подход имеет право на жизнь, однако процессы и проекты использования стандарта 400GE зачастую зависят от приложений, с которыми будет работать создаваемая сеть.

Чипы Merchant Silicon обычно предлагают широкие возможности настройки и масштабирования, что позволяет интеграторам и производителям быстро адаптировать их под различные нужды, будь то для небольших сетевых устройств или крупных корпоративных решений. Дальше важную роль начинает играть взаимодействие между разработчиками приложений и создателями инфраструктуры в процессе реализации крупных и средних программных проектов. Это взаимодействие становится особенно важным, когда речь идет о сложных проектах, требующих согласования и оптимизации как программного обеспечения, так и технологической инфраструктуры (серверы, сети, базы данных и т. д.).

Ключевым моментом является распределение ответственности за проект: кто будет отвечать за его успешное завершение, включая возможные проблемы и риски, связанные с технической стороной, производительностью, масштабируемостью или безопасностью. Ответственность за проект и решение технических рисков часто перекладывается на поставщиков программного обеспечения (разработчиков приложений) или системных интеграторов. Это делается для того, чтобы CIO (директор по информационным технологиям) мог быть уверенным, что все части системы, включая приложения и инфраструктуру, будут работать совместно и без сбоев. В случае проблем с проектом, эти поставщики или интеграторы будут нести ответственность, что уменьшает риск для заказчика.

Однако в последние годы R&D-вендоры стали недоступными. Во всяком случае, логистика превратилась в сложную задачу – каналы поставок удлинились, а способы оплаты усложнились. Таким образом мы приходим к модели бизнеса, которая популярна как в США, так и в Китае – технологические партнерства или консорциумы по географическому признаку. 

В связи с этим те отечественные проекты, которые были начаты ранее и построены на основе старой архитектуры, успешно завершены или уже находятся на стадии завершения, а вот планы надо прорабатывать в тесном контакте с альтернативным поставщиком. Скорее всего, он будет работать по модели Merchant Silicon. При этом те, кто реализует небольшой проект, могут попробовать перебрать нескольких поставщиков – в небольших масштабах это приемлемый риск. Однако сложные и масштабные проекты требуют тщательного изучения потенциального партнера, сотрудничество с которым может продлиться долгие годы, а предлагаемые им технические решения лягут в основу вашей бизнес-стратегии. 

В этом отношении компания Fplus формирует свою линейку продуктов и строит крепкие отношения с заказчиками. На сегодня большинство из них выбирает коммутаторы серии FDS-7000, причем одна из моделей этой серии, поддерживающая стандарт 400GE, входит в Реестр российской радиоэлектронной продукции. Предлагая такую модель нашим заказчикам, мы вместе с ними успешно преодолеваем те вызовы, которые я вкратце обрисовал в рамках данной статьи.

Коммутатор, поддерживающий стандарт Ethernet 400G – сложное устройство, однако в рамках программы импортозамещения нами освоен выпуск таких устройств, необходимых для реализации современных проектов в России.

5. Будущее сетевых технологий

Говоря о ближайшем будущем сетевых технологий, стоит отметить стандарт PCIe 6.0, который массово начнут внедрять в 2025 году, а также появление новых сетевых ускорителей: например, SuperNIC от NVIDIA Mellanox. В материалах NVIDIA уже обсуждают, как новые стандарты будут применяться: 400 GE планируется использовать в мультитенантных дата-центрах и для обучения ИИ в моделях East-West/North-South, а для новинки NVIDIA — Blackwell DGX B200 — для оптимальной работы потребуется уже 800 GE для трафика East-West.

Кроме того, вычисления не ограничиваются только сложными моделями. Весь классический слой гиперскейлеров IaaS/PaaS — крупных облачных провайдеров, использующих десятки тысяч серверов — активно обновляет сетевую инфраструктуру, оптимизируя частоту и количество ядер процессоров. Это способствует дальнейшей компактности платформ.

Что касается размещения оборудования в дата-центрах, то количество мест в стойках растет не так быстро, как требования к плотности вычислительных мощностей. Это позволяет продолжать использовать проверенные решения. Хотя 10-12 лет назад модель размещения коммутаторов EoR/MoR была заменена на модель ToR, чипы Merchant Silicon с пропускной способностью 25,6/51,2 Тбит/с позволяют переиспользовать старую архитектуру.

Также стоит отметить рост популярности NVMe/NVMeoF SDS (Software-defined storage). Например, система CEPH на одном NVMe-накопителе (с 2 OSD) до сих пор может обеспечивать скорость до 3-7 ГБ/с. Но чтобы избежать «бутылочного горлышка» при интенсивной нагрузке на сервер с 24 накопителями NVMe и синхронной репликацией, важно обеспечить наличие как минимум двух портов по 400 Гбит/с для поддержания стабильной работы.