Как проектируют дата-центры? Разбираемся на практике

Стабильность IT-инфраструктуры напрямую зависит от дата-центра, в котором размещены серверы. Одно только расположение предопределяет подключение к электросети и другие коммуникации.

Привет, Хабр! Меня зовут Артём, я руководитель ИТО в Selectel. В этом материале расскажу, как проектируют дата-центры, и сделаю обзор на один из наших дата-центров — «Цветочная 2», который был запущен еще в 2015 году, 17 декабря. Разберем основные системы и покажем, как они выглядят в действии. Подробности под катом!

Используйте навигацию, если не хотите читать текст полностью:

→ Географическое расположение
→ Коммуникации
→ Путь электричества в дата-центр
→ Система охлаждения
→ Система пожарной сигнализации и пожаротушения
→ Мониторинг

Поиск оптимальной зоны

Когда вы строите загородный дом или дачу, то выбираете место с хорошей доступностью и удачной геологией. Еще лучше, если рядом есть водоем. Кроме того — обращаете внимание на коммуникации и соседей. Аналогично происходит с дата-центрами, только критерии другие.

Если ваш дата-центр будут посещать клиенты, то важным критерием является удаленность от города. Любое оборудование требует обслуживания, что-то может ломаться. Поэтому гораздо удобнее, когда здание находится в черте города и к нему можно быстро добраться разными маршрутами.

С другой стороны, чем дата-центр ближе к центру города, тем сложнее с транспортной инфраструктурой и инженерными коммуникациями, а стоимость на строения или земельные участки становится выше. В Санкт-Петербурге есть так называемый «серый пояс», или зоны промышленной застройки, которые сформировались в XIX–XX веках. До них, как правило, можно добраться на общественном транспорте, а с подъездом вопросов не возникает.

«Серый пояс» Санкт-Петербурга. Источник: комитет по промышленности правительства Санкт-Петербурга.

Есть еще один хороший вариант для размещения дата-центров — зоны, расположенные недалеко от КАД. Они дешевле, больше по площади, но на общественный транспорт рассчитывать не приходится. Важный момент — возможность подведения коммуникаций.

Поиск здания

Зону для расположения дата-центра нашли, в ней все устраивает. Теперь нужно выяснить, строить новое здание или использовать готовое.

Если найденный земельный участок пустой — это его преимущество: выгоднее построить дата-центр с нуля, так как можно сразу заложить все требуемые помещения и соблюсти нормы. Если на участке уже есть здание, то нужно понять его назначение. Например, слабые по несущей способности строения не подходят, так как масса только одного серверного шкафа с оборудованием может достигать тонны. А ведь еще нужно учесть источники бесперебойного питания, дизельные генераторы, системы кондиционирования и охлаждения. Это все занимает место и весит немало.

Если здание промышленного назначения, это уже лучше, ведь их строят для размещения производств. Но важно помнить, что состояние любого строения нужно обязательно обследовать перед вводом в эксплуатацию. В первую очередь, это нужно для безопасности людей, а уже потом — оборудования.

Наш дата-центр «Цветочная 2» размещен в здании, которое было построено в XX веке для завода «Позитив», производившего фотоматериалы.

После приобретения строения в 2014 году понадобилось провести реконструкцию с увеличением несущей способности. Например, колонны перекрытий были усилены стальными обоймами — это позволило разместить тяжелое оборудование без рисков для здания.

Со зданием определились, но этого недостаточно, ведь где-то нужно разместить помещения для инженерной инфраструктуры. Теоретически, трансформаторы, дизельные генераторы и источники бесперебойного питания можно расположить в одном здании. Но для этого не всегда достаточно первого этажа. Кроме того, мы теряем квадратные метры полезной площади для размещения стоек. Хорошо, когда площадка позволяет разместить отдельный «энергоблок» — он может быть в виде здания или отдельных контейнеров.

Отдельное здание энергоблока.

Площадь энергоблока — 1 200 м2, одного этажа дата-центра— 1 900 м2.

Подъездные пути

Первое и самое главное — подъездные пути. Электричество можно подвести почти в любое место, но без возможности подъезда транспорта не получится построить дата-центр.

У площадки «Цветочная» есть два маршрута подъезда, но не без ограничений. Например, грузовые автомобили длиннее 12 метров не могут повернуть с улицы Цветочная, если на ней припаркованы автомобили. Для крупной поставки приходится заранее ограничивать парковку в районе заезда.

Подключение к сети

Сразу оговоримся: мы не будем расписывать юридические и процессуальные аспекты подключения. Если кратко, то есть три способа получения электричества.

1. Местные трансформаторные подстанции. Уверен, вы видели небольшие «будки» во дворах своего дома — именно от них в здания поступает электричество.

Это самый простой способ, если будущий дата-центр имеет небольшую мощность и строится на месте завода или предприятия, ведь электричество уже будет подведено. Подключиться можно быстро, не нужно протягивать длинные линии. Однако не всегда есть достаточная мощность, а тариф за электропитание будет выше, чем в следующем варианте.

2. Районные подстанции. Данный тип подключения уже предполагает прокладку собственных высоковольтных кабелей и установку распределительной подстанции (РП). По сумме вложений существенно дольше и дороже первого типа, однако остается единственным вариантом для мощного дата-центра. Киловатт-час при эксплуатации обойдется дешевле.

3. Собственная генерация. Редко, но электричество получают из других видов энергии. Источником может послужить солнце, ветер, топливо и т. д. В большинстве случаев этот тип дороже, но у него есть неоспоримое преимущество — полная независимость от внешнего электропитания.

Водоснабжение и водоотведение

Вода в черте города обычно не является проблемой. Если нет центрального водоснабжения, всегда можно организовать техническую воду из скважины.

Наш дата-центр «Цветочная 2» подключен к районной подстанции. Распишем детальнее узлы, которые проходит электрический ток, пока не достигнет серверов.

Узлы сети

Распределительная подстанция напряжения 20/10/6 кВ. В качестве первого узла выступает распределительная подстанция. Она позволяет организовать подключение нескольких трансформаторов к питающим линиям высокого напряжения, а также обеспечить их защиту.

В нашем случае они нужны, но если бы мы питались напрямую от местной трансформаторной подстанции, этот узел можно было миновать.

Трансформаторы. Что такое трансформаторы, думаю, вы знаете. Их единственная задача — понижение напряжения до уровня, пригодного для подключения оборудования: 230 В — для однофазных сетей, 400 В — для трехфазных сетей.

Количество трансформаторов и их мощность определяется проектом и схемой резервирования. В дата-центре «Цветочная 2» установлено восемь трансформаторов мощностью 2 000 кВА и два по 2 500 кВА (вольт-ампер).

Дизельные генераторы. Обеспечивают работу всего оборудования во время аварий или плановых отключений электричества от подстанций. Такое на моей памяти было не раз. Одно из самых долгих отключений длилось несколько часов: весь район погрузился во тьму, на улице только в наших зданиях продолжило работать освещение.

Не только дата-центры имеют собственные генераторы — их также устанавливают в больницах, бизнес-центрах и узлах связи. В общем, во всех местах, где отключение электричества может угрожать жизни, здоровью или принести убытки.

Есть несколько особенностей, которые важно предусмотреть при проектировании и эксплуатации.

1. Как и любой двигатель внутреннего сгорания, дизельный двигатель имеет вредный выхлоп. Его необходимо выводить через трубы, расположенные на максимальном отдалении от точки забора воздуха системой вентиляции здания.

Трубы для отвода выхлопных газов.

2. Даже в режиме простоя ДГУ потребляют электричеств. Работают предпусковые подогреватели масла и охлаждающей жидкости, заряжаются аккумуляторные батареи, а управляющая электроника находится на низком старте.

Дизельный генератор.

Источники бесперебойного питания

ИБП применяют, по сути, для единственной цели — чтобы обеспечить оборудование стабильным электропитанием. Находясь в квартире или офисе, вы наверняка не раз встречались с ситуацией, когда свет «моргнул», телевизор резко выключился, а стационарный компьютер — ушел в перезагрузку.

Это явление энергетики называют «сетью вне допуска». Оно возникает при переключениях на вышестоящих подстанциях, при срабатывании защиты, включении резерва или переключениях в генерирующих узлах объединенной электросети. Без применения ИБП электричество, получаемое от городской сети, непригодно для чувствительных к помехам серверов и сетевого оборудования. А также систем кондиционирования и автоматики самого дата-центра.

Кроме того, источники бесперебойного питания выполняют и другую важную задачу. Они обеспечивают питание в случае полного отключения внешнего «городского» электроснабжения на период запуска дизельных генераторов. Несмотря на подогревы и автоматику, двигателю нужно время, чтобы запуститься и выйти на стабильные обороты. В наших ДГУ это порядка 5-10 секунд.

Подробнее про ИБП мы уже рассказывали в отдельной статье.

Электрощитовые

В каждом дата-центре есть как минимум один главный распределительный щит (ГРЩ), предназначенный для приема и распределения электроэнергии между системами. К нему подходят кабели от внешних и внутренних вводов электропитания, подключаются источники бесперебойного питания и потребители электричества.

В нашем дата-центре «Цветочная 2» есть четыре ГРЩ, к которым подключена инфраструктура второго этажа и два ГРЩ для четвертого этажа. Это дороже, но позволяет полностью разделить подключение компонентов и обеспечить более высокий уровень надежности.

Электрощитовая одного из этажей.

Здание «Цветочной 2» имеет четыре этажа, два из которых занимает техническая зона с серверными помещениями — их еще называют «машзалами», серверными комнатами или просто серверными. Каждый этаж обслуживается своим комплексом устройств генерации, транспортировки и преобразования электроэнергии. А именно: ИБП, ДГУ, трансформаторами, линиями электропитания, управления и мониторинга. Их связывает только конструкция здания и распределительная высоковольтная подстанция.

Подключение стоек

После прохождения через все узлы питания мы получаем электричество с характеристиками, близкими к идеальным. Его уже можно использовать для питания серверов, систем хранения данных, сетевых устройств и другого оборудования.

Для удобства обслуживания все оборудование устанавливается в серверные шкафы (стойки) и подключается к блокам розеток PDU, power distribution unit, которые связаны с шинопроводами и распределительными щитами.

Подключение оборудования в стойке.

Любой сервер или сетевое устройство при работе выделяет тепло. Когда в одном помещении десятки тысяч таких устройств, естественной вентиляцией не обойтись — нужно проектировать и строить систему охлаждения.

Чиллер системы охлаждения на крыше дата-центра.

Подробнее о разных способах охлаждения дата-центров мы рассказывали в другой статье. Но с тех пор многое поменялось. Например, в «Дубровке 1» чиллеры заменили на фрикулинг, появились варианты жидкостного охлаждения серверов, а система охлаждения в дата-центре «Цветочная 2» была модернизирована для большей надежности и отказоустойчивости.

Перед описанием принципа работы стоит упомянуть про фальшпол — конструкцию, которая упрощает охлаждение. Основное предназначение фальшпола — сокращение затрат на охлаждение и накопление «бассейна» холодного воздуха.

Под плитками скрыты кабели и шинопроводы электропитания, а также трубы системы охлаждения. В серверных помещениях выделены зоны подачи охлажденного воздуха к оборудованию — их часто называют «холодными коридорами». В них через перфорированные плитки фальшпола поступает воздух, который затем забирается вентиляторами серверов и сетевого оборудования.

Холодный коридор с перфорированными плитками фальшпола.

Еще один холодный коридор с перфорированными плитками фальшпола.

Принцип охлаждения остался прежним: в серверных комнатах стоят промышленные прецизионные кондиционеры, которые обеспечивают охлаждение, увлажнение и очистку подаваемого для оборудования воздуха. Помимо теплообменника, внутри кондиционера есть секция фильтров для очистки от пыли и увлажнитель для поддержания оптимальной влажности в помещении.

В качестве теплоносителя используется незамерзающая жидкость, нагретая в теплообменнике кондиционера. Она прокачивается насосом по замкнутому контуру до внешнего блока, чиллера. Внутри него жидкость охлаждается и подается по трубам в кондиционер, где вновь нагревается. Процесс достаточно простой, а благодаря дублированию компонентов системы еще и отказоустойчивый.

Насосы системы охлаждения.

Из недостатков системы охлаждения можно отметить не самую высокую энергоэффективность — безусловно, она выше, чем у фреоновых кондиционеров, но не дотягивает до фрикулинга. Для реализации полноценного фрикулинга нужно много места, а его на площадке ограниченное количество.

Какой бы надежной ни была инфраструктура, всегда есть шанс возникновения ситуации, когда что-то пойдет не по плану. Вероятность возгорания внутри дата-центра небольшая, но она есть. Электрические кабели, оборудование, элементы системы кондиционирования — все это может загореться при определенных условиях. А в офисной части рисков еще больше, ведь даже простая микроволновка или неисправный обогреватель может стать причиной пожара.

Для раннего обнаружения задымления применяются несколько типов приборов.

Точечные дымовые извещатели

Применятся повсеместно: закрепляются на потолках квартир, детских садов, школ, торговых и бизнес-центров — в общем, везде, где есть пожарная сигнализация. Их преимущество — стоимость и простота монтажа. Из недостатков можно отметить, что на появление дыма данные приборы реагируют не сразу.

В наших датацентрах точечные извещатели устанавливаются в офисной части и технической зоне, в дополнении к другим типам систем.

Линейные дымовые извещатели

Применяются, как правило, в больших помещениях (залах, складах и т. д.), поскольку несколькими парами устройств можно контролировать большие расстояния. Мы устанавливаем линейные дымовые извещатели в помещениях складов.

Датчики открытого пламени

Устанавливаются в помещениях, где есть высокий риск открытого горения. Например, в помещениях с дизельными генераторами.

Аспирационные датчики

Приборы анализируют воздух на содержание частиц горения. Их основное преимущество — раннее обнаружение пожара на этапе тления, когда еще нет открытого пламени и большого объема дыма.

Чем раньше будет обнаружено задымление или возгорание, тем больше времени будет для его тушения. Поэтому в наиболее критичных к возгоранию помещениях установлены приборы разных типов, которые дублируют друг друга.

Аспиратор.

«Обнаружили возгорание — чем его ликвидировать?»

Все зависит от того, что именно загорелось. Если это электроприбор в офисной части, достаточно его отключить от сети и потушить огнетушителем, который можно найти в любом помещении. А для того, чтобы наши сотрудники не забыли, как им пользоваться, мы регулярно проводим учения.

В случае возгорания в технической зоне важно, чтобы от пожаротушения не пострадало оборудование. Поэтому никакой воды или порошка — только система газового пожаротушения. Обзор решений мы делали в статье. Она написана шесть лет назад, но до сих пор актуальна.

Станция газового пожаротушения.

В каждой инфраструктуре одним из ключевых элементов является мониторинг. Необходимо отслеживать сотни параметров, анализировать их взаимосвязь между собой. На основе полученных данных можно прогнозировать время обслуживания или замены элементов, не дожидаясь выхода из строя.

Один из наших инженеров.

Про мониторинг можно написать много. Но, пожалуй, даже краткое описание параметров и алгоритмов их обработки тянет на отдельный пост. Еще увидимся!

Возможно, эти тексты тоже вас заинтересуют:

→ Беспроводная клавиатура Lofree Edge: легкая, тонкая и дорогая. Что это за аксессуар?
→ Оцениваем алгоритмы планирования процессов в операционных системах
→ Как сохранять медиафайлы с Tilda в облако? Пошаговая инструкция