Как мы строили отказоусточивый дата-центр уровня TIER-III

В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.

Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.

А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий

Вводная

Это был уже третий наш собственный ЦОД и далеко не первый и даже не двадцатый из тех, что мы строили или помогали строить по всей стране для различных заказчиков. Соответственно, к этому моменту мы уже имели отличную команду инженеров и проверенных поставщиков.

Базовые параметры ЦОД «Компрессор»

• Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
• Охлаждение: N+1, в среднем 6 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
• Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
• Вместимость – 800 стоек,
• Помещения склада и персонала заказчика,
• Охраняемая территория,
• Здание в собственности,
• Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
• 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
• Сквозное резервирование системы холодоснабжения N+1 (3+1),
• Среднегодовой расчётный PUE не хуже 1.45,
• Запас холода 15 минут при отключении электроснабжения,
• Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).

Строительство «Компрессора» мы начали в 2009 году. Хотелось сделать всё по уму, поскольку специфика некоторых наших клиентов такова, что ЦОДы должны работать несмотря ни на что. Был выбран уровень TIER-III как наиболее соответствующий задачам (такие ЦОДы продолжают стабильно работать без изменений при выходе любого узла системы из строя и имеют показатель доступности 99,98%). Мы прошли сертификацию Uptime Institute по проекту и по объекту – до нас в России было всего два ЦОДа такого уровня.

Итак, на начало работ у нас было здание. В целом оно было в хорошем состоянии. Мы добавили перекрытия между первым и вторым этажом, плюс нарастили третий этаж под бытовые нужды (например, там сейчас столовая).

Сначала мы вывезли всё что нашли в цехе:

Вот так место выглядело в 2010 году, вид сверху. Это монтаж перекрытий второго этажа:

Тот же момент, вид изнутри здания. Здесь идет монтаж несущих опор второго этажа:

2011 год, монтаж перекрытий второго этажа завершен, устанавливаем внутренние перегородки:

Вот здесь видно высоту фальшпола, это январь 2011-го:

В том же январе 2011 технологические помещения уже были готовы к отделке:

А в феврале и марте мы монтировали двойной пол в помещении источников бесперебойного питания:

Двойной пол в помещении аккумуляторных батарей:

Здесь видна огнезащита несущих металлических конструкций, тоже февраль:

Фото марта 2011 года, строительство трассы между распределительной подстанцией дизель-генераторных установок и зданием ЦОДа:

А здесь хорошо видно проёмы, куда подаётся воздух под фальшпол. Высота около 1,2 метра, это из-за большой мощности.

Апрель 2011-го, строим трубопроводы. На фото — трубопроводы подачи охлаждённой воды к фанкойлам. Основные трубы имеют диаметр 400 миллиметров, а задвижки были по тонне, что создало ряд трудностей в монтаже.

Завершение контура охлаждения машинных залов

Монтаж трубопроводов для обвязки чиллеров и градирен, май 2011:

Июнь 2011-го, монтируем систему охлаждения, это монтаж чиллеров и драйкулеров на специальной конструкции сверху здания.

Их применение было связано с тем, что нужно было вписаться в имеющиеся габариты здания, поэтому чиллеры поставили на крышу.

А вот монтаж насосной станции в июле 2011 уже был завершен:

Шинопроводы тоже появились в июле 2011-го:

А вот здесь распредщиты:

Июль 2011, полным ходом идет монтаж подвесных потолков и лотков в машинных залах

В августе 2011 устанавливались внутренние блоки кондиционеров:

Вот так они выглядят в установленном виде:

Монтаж системы охлаждения распределительной трансформаторной подстанции:

Распределительная подстанция для дизель-генераторной установки на объекте подключения кабелей:

В августе 2011 мы начали также монтировать фасад здания. Здесь утеплитель уже почти смонтирован, устанавливают въездные ворота:

Тот же фасад здания с другой стороны:

А это монтаж кабельных лотков дизельной электростанции. Здесь пройдёт несколько тонн кабеля (фото — тоже август):

Топливнозаправочная площадка в августе была уже полностью готова:

Финальная окраска трубопроводов в помещении хладоцентра первого этажа:

Вот так в августе выглядела распределительная подстанция ДЭС, вид изнутри

Август 2011, совсем скоро Компрессор будет запущен, но сотрудницам КРОК уже не терпится на него посмотреть (на крыше с чиллерами):

Вот здесь дизель-генераторные установки, в процессе монтажа. Всего их было установлено 7 штук. Начало работ по монтажу кабельной системы. Фото сделано в сентябре 2011-го:

А это баллоны газового пожаротушения машзалов, тоже сентябрьское фото:

К сентябрю 2011 работы по установке вентилируемого фасада здания практически завершены:

Вот и всё. После того, как фасад здания был полностью облицован, мы ещё привели в порядок территорию, поставили забор для охраны и посадили газон.

Ссылки

Вот здесь есть фотоэскурсия по данному ЦОД, здесь – больше деталей, а вот здесь – про особенности сертификации.

P.S. Если интересно, я напишу пост про оборудование, инженерные системы и поставщиков (кстати, некоторые отечественные поставщики очень даже неплохо себя зарекомендовали).