Домашняя кластер-лаба с капелькой колхоза

Привет, Хабр! Это небольшой рассказ о моей домашней лаборатории на которой я обучаюсь различным решениям необходимых DevOps-инженеру. Для начала пробежимся мини-обзором оборудования, а после — расскажу о том, над чем еще стоит поработать.

Сервера

В своем решении я использую сервера на платформе SuperMicro 5017C-MF. К сожалению или счастью, из 4-ех серверов один попался старой конфигурации на базе платы X9SCL-F, остальные же — X10SLL-F. Их отличие — плата 9 поколения поддерживает процессоры первого и второго поколения, а плата 10 поколения, поддерживает процессоры 3 и 4 поколения.

Отличить их можно также по внешнему виду:

Итоговые характеристики серверов в нашей сборке:
— Сервер #1 (консольный) — X9SCL-F, Xeon E3-1220v2, 8GB RAM, 60GB SSD (ОС) + 8TB HDD (NFS-шара)
— Серверы #2,3,4 (воркеры) — X10SLL-F, Xeon E3-1220v3, 16GB RAM, 60GB SSD (ОС)

Коммутация

В роли коммутатора я выбрал Tenda-TEG1016M, т.к. он заинтересовал меня количеством гигабитных портов и функцией VLAN, которая может пригодиться мне в будущем. В дополнение — компактный и весьма солидный вес для такой «игрушки».

ИБП

На данном этапе, вам лучше присесть. Встречайте старичка — APC PowerStack 450. Данный ИБП бородатых годов, но позволяет удобно управлять собой, а также настроить систему алертов благодаря управлению через стандартный COM порт и apcupsd под Linux. Будьте готовы к тому, что взяв данный аппарат никто не парился над сбросом года АКБ в его памяти, а значит — minicom и старые записи на форумах по сбросу всего этого добра станут друзьями на вечер. Как видите — мой экземпляр немного модернизирован — я установил в него блок питания 220v->12v для питания коммутатора, дабы не занимать свободные 4 розетки типа C-13 (спокойно, данный «мод» был сделан после полной проверки ИБП под 100% нагрузкой серверов, дабы понять что для него это не будет перегрузом). ИБП имеет на борту автоматические функции проверки АКБ, панель для быстрого изъятия и замены батарей, а также системы предотвращающие работы под перегрузкой и обширный мониторинг — от напряжения батарей до расчета времени работы от них. Номинальная мощность — 280W, максимальная — 450W.

«Серверный» шкаф

Я не просто так указал слово серверный в ковычках, ведь начало всей данной лабы, судя по комплектующим, уже было достаточно веселым — собираем из того что есть, но красиво.

Ну чтож, первое что мы видим — ящик сделанный из ЛДСП на заказ по внутренним размерам (ширина = 2 рельсы + сервер), также сами рельсы — используются в мебели, на шарах и с механизмом Push-To-Open для защелкивания серверов. Провода прокладывались в небольшые пластиковые площадки под хамуты, а коммутатор закрепляется 4 корпусными винтами в напечатанные на 3D принтере крепления.

Давайте немного подробнее покажу вам как выезжают сервера на данных рельсах, ведь для меня это действительно удобно — можно выкатить оборудование и увидеть все что только может быть нужно, благодаря длине рельс в 450мм сервера не нужно снимать каждый раз.

Итого

Проект собирался на протяжении полугода, постоянно модернизировался и менялся, на данный этап это третья версия — основные проблемы были с самими шкафами, т.к. первые попытки были вместимостью в 8 серверов, из-за чего их приходилось укреплять металлическими углами. На данный момент — ситуация гораздо лучше, а самое главное — это можно масштабировать)
(Я не пошутил — еще один шкаф прикручивается сверху и получается крепкая конструкция состоящая из ячеек)
Остаются мелкие доработки по пропускной способности сети с NFS, а также необходимо сделать какую-то сетку на переднюю панель шкафа, дабы не забивалось быстро пылью.

Заранее отвечу на вопросы — почему вообще я собрал все это, и не использовал обычный серверный шкаф? — Долгое время пытался купить на авито, но постоянно получал отказы на доставку то от Авито, то от покупателей, либо сам шкаф выходил в стоимость куда выше чем я мог бы вложить в этот проект. Плюсом к этому, я видел ряд проблем с креплением серверов — ко мне они попали с «ушками» для установки в стойку, что для меня казалось крайне сомнительной идеей — риск прогиба сервера. Именно поэтому я решил снова изобрести колесо)

Ах да, что же там по цене?
Шкаф: последняя версия — 1т.р. + рельсы 400р*5 + ручки, крепления для проводов, ножки и т.д. ~4т.р.
Сервера: 4.5т.р.*4 + новые кулера 800р*4 + ссд на 60гб 1т.р.*4 ~ 25т.р + 16т.р hdd на 8тб
Коммутатор ~2т.р.
ИБП — 2т.р + новые АКБ 2т.р.
Ну и по мелочи — провода, блок питания в ИБП ~2т.р.

Как итог — данная стойка может запустить на себе в достаточно отказоустойчивый для домашнего использования к примеру Nextcloud, Element, SeaFile и много других сервисов, а также может стать неплохим стартом для изучения IT инфраструктуры, либо просто личной серверной для разработки проектов..но это — уже совсем другая история. Всем спасибо за ознакомление, всем добра!