Опыт проектирования и строительства дата-центра в Германии

До сих пор читал тут о том, как строят в России дата-центры. Хотел бы поделиться своим опытом проектирования и строительства дата-центра в Германии.

Начну издалека – после введения евро в 2002-м году и отказа от дойчмарки Госбанк Германии решил продать здание-сейф, где хранил деньги и золото. Вот такой (см. видео) продукт холодной войны (построено в 1988 году) я купил в Дармштадте, в 30 км от Франкфурта. В здании есть трехэтажный бетонный сейф, разгрузочно-погрузочные зоны, зоны обработки денежной наличности, а также офисы, служебные квартиры и другие помещения.

Видео о здании в первоначальном состоянии можно посмотреть на сайте da-rz.de/?lang=ru

Идея сделать в этом здании дата-центр родилась не сразу, но понимание сегодняшней реалии, что информация дороже денег, укрепило желание сделать в нем дата-центр.

Сразу определились с уровнем безопасности – здание высокобезопасное (бронированные стекла и фасад, откос стены против тарана, сейфы и тд), значит и технику нужно на не меньшем уровне делать.

Вот тут начались «качели» — есть стандарты Тир 3, есть ТЮФ ИТ, есть ИТ ассоциация со своими стандартами, плюс производители тоже пытаются навязать свои стандарты и сертификации. Этим кстати и пользуются дата-центры, по крайней мере, в Германии. К кому не придешь, все самые высокобезопасные, чуть ли не Тир 4. Так как сам в теме, начинаешь распрашивать, выясняется – то всего один трансформатор, то всего один дизельный генератор и тд. Знакомый взял сервера в одном дата-центре на юге Германии (название не скажу, чтобы не обвинили в негативной рекламе), так через 3 месяца почти на сутки серверы «легли». И это Тир 3, с 99,982% отказоустойчивостью (т.е. максимально 1,5 часа в год разрешается простаивать, а тут 24 часа отказа уже в первые 3 месяца).

Сейчас в каждой стране Европы создали комитеты по разработке стандартов дата-центров. Подвернулась возможность пригласить в проектанты председателя немецкого комитета, плюс дополнил его фирмой IBM, чтобы не было ошибок при проектировании. Потому что на бумаге можно еще исправлять, а когда построишь, то уже поздно. Да и перед клиентами потом краснеть не хочется.

Вобщем запитали здание новыми зарезервированными сетями: Электричество 5 мегаватт и оптоволоконные кабеля по 144 волокна в каждом. Все в трубах.

В среднем сможем подать по 1,6 кВ на кв.м ИТ площади. В этой части тоже дискуссии идут. По опыту других дата-центров видел, что клиенты хотели много мощности, а реально весь дата-центр сдали и клиенты «тянут» по 0,8-1 кВ на кв.м. Есть конечно «геймеры», они тянут и по 30 кВ на стойку, но есть и телекоммунникационщики, они и 1 кВ на стойку еле берут. Поэтому «средняя температура по больнице» и выходит не больше 1 кВ на кв.м (т.е. 3-4 кВ на стойку).

Спроектировали 8 отдельных модулей (от 150 до 360 кв.м, а всего будет 2.100 кв.м ИТ), каждый снабжается от центральной системы автономно, пожаротушение свое. В сейфе стравливание давления в случае пожаротушения не сделать, поэтому там будем снижать количество кислорода в воздухе, чтобы не было вообще возгорания.

Сейф это отдельная история – нужно было там проломы сделать, чтобы завести сети. Не могли вообще просверлить стену. На 4 дырки ушло 5 недель. А чтобы найти таких «взломщиков» до того еще месяц.

По электричеству спроектировали по системе 2N (т.е. система поделена на 2 части, и каждая часть может заменять другую). По охлаждению сделали N+1, и предусмотрели систему охлаждения «с улицы». Температура в Дармштадте не жаркая, а цена на электроэнергию высокая (хотя мы будем на бирже электричество закупать, цена сейчас на бирже в районе 5-5,5 цента за 1 кВч, но плюс налоги). Планируем 2/3 времени в году охлаждаться «с улицы», и соответственно чиллеры не включать. Многие кстати в серверном помещении гоняют холодный воздух, делают и 18 градусов. Называется «клиент за все платит». В Германии клиент за это не платит, требует экономить, нужно поэтому в районе 22-23 градуса держать, не ниже.

Вобщем проект классный получился. Здание большое – всего 8.000 кв.м, поделено на зоны – так было уже при Госбанке. Поэтому предусмотрели помимо ИТ площадей в других частях здания еще и офисные площади, конференцные помещения, рабочие места для клиентов (конфигурация, в экстренных случаях), тестовую лабораторию, склад промежуточного хранения, в бункере (и такой есть под землей, немцы уж постарались) тоже можно хранение ценных данных организовать. Получился дата-центр с большим набором сопутствующих сервисов, такой «сервисный дата-центр». Думаю за этим будущее, просто сдать площадь без сервиса, это уже клиенту не интересно. Такое он и сам сделает. А вот площадь плюс возможности сервиса и сам сервис – за такое заплатишь.

Перспектива и такая, чтобы набирать для более сложных услуг ИТ-специалистов в России. Сейчас в Германии ввели «голубую карту», если есть тут работа и зарплата минимум 2.912 евро в месяц, то дают вид на жительство. Кому интересно, могут об этом тут прочитать www.bluecard-eu.de/eu-blue-card-germany/

Вот 3D план одного этажа (всего 6 этажей) – на этом этаже 4 модуля, рабочие места, тестовая лаборатория и прочее.

Самое главное в концепции – строим очередями. Т.е. первая очередь конечно основная, в ней большая часть затрат – и здание купили, и проектирование, и сети полностью, и строй работы. В первую очередь планируем ввести 2 модуля (630 кв.м). Но уже в 1-й очереди подготавливаем все места для оборудования. Затем уже подключаем как конструктор дополнительное оборудование и вводим дополнительные модули – в особенности подстраиваясь под ситуацию со сдачей этих самых площадей. Инвестиции соответственно разбиваются по этапам, и риск так же.

По клиентам тут ситуация такая: регион экономически развит, промышленных и финансовых предприятий много, спрос достаточный. Ввиду того, что сам из России, будем на Россию также продавать, тем более уже есть примеры, когда тут в регионе крупные российские компании арендовали площади в дата-центрах. Обычно берут или под свои операции в Европе или бэкапят свои данные за рубежом. В идеале хотел бы иметь партнера в России, который и в проект войти мог бы как инвестор и продавал бы по России.

Начали стройку, сейчас строй работы частично закончили. Ведем переговоры с поставщиками оборудования. В Германии все производители есть – от электрооборудования до шкафов. Далеко ездить не нужно, все фабрики рядом, туда можно подъехать, все посмотреть. За дешевым оборудованием не гоняюсь, нужно, чтобы работало и КПД был на уровне.

Так сразу все не расскажешь, если у кого есть интерес, задавайте вопросы, могу ответить в следующем посте, выложить дополнительную информацию.