Курс системного администрирования (полный цикл практической работы) — Лимб

Вступление

Всем добрый день!

Хочу сразу ввести пояснение: данная статья, это консолидация и систематизация моих знаний для самого себя. Изначально мне было важно фиксировать свои знания, так как я разом оказался развивающимся специалистом, на которого свалилась куча новой информации. Самой интересной формой оказалось составление некоего плана обучения, по которому я смогу обучаться сам и которого самому не хватало, так как во многом реальная работа оказалась далека от того, что изучали как минимум в университете.

Курс буду публиковать частями. Может, он окажется полезен кому‑то, кто тоже начинает свою трудовую карьеру и пока не знает, «а как оно в реальности» и что реально нужно в работе. Любая критика приветствуется, мне важны любые замечания.

Я для себя структурирую данные знания в таком порядке: ЦОД — шкаф — сервер — ОС — ПО и так далее. Примерно так, по мере наполнения, возможно, буду менять.

1.1 ЦОД (Центр обработки данных)

Мы начнём наше изучение с ЦОДа. В реальности вы можете никогда не столкнуться с полноценно организованным ЦОДом, выбрав путь быстрого продвижения в небольших компаниях, которые не могут похвастаться централизацией обработки данных или не имеют в ней необходимости. Но эти знания необходимы как для расширения ваших возможностей при трудоустройстве, так и для понимания того, с чем вам придётся работать и к чему стремиться.

ЦОД — это помещение, сконструированное для размещения серверной инфраструктуры: от самих серверов и сетевых устройств до средств, обеспечивающих их электропитание, охлаждение и регулирование влажности. ЦОД — это часто распределённая инфраструктура, похожая на граф. ЦОДов может быть несколько: они могут быть разделены по целям, типам или из соображений безопасности. Например, системы резервного копирования или ядра сетевой системы могут находиться в разных зданиях, чтобы в случае пожара в одном из них инфраструктура продолжила работать благодаря второму «узлу» ЦОДа.

Рассмотрим виды ЦОДов, а затем разберёмся с требованиями, которым они должны соответствовать в той или иной степени. ЦОДы можно разделить по строению, назначению и надёжности. Мы не будем углубляться в назначение ЦОДов, так как работа с разными типами аналогична. Поэтому начнём с видов ЦОДов по типу строения:

1) Стационарные — классические ЦОДы, оборудованные в здании компании или в отдельной постройке.

2) Модульные — готовые модули ЦОДа с установленными шкафами, системами охлаждения и бесперебойного питания. Они удобны для оперативного развёртывания и масштабирования ЦОДа.

3) Мобильные (контейнерные) — полностью готовые ЦОДы, нуждающиеся только в электропитании и чаще всего реализованные в различных контейнерах.

ЦОДы конструируются с целью обеспечения отказоустойчивости и производительности оборудования. Для этого применяются различные инженерные и инфраструктурные решения. Рассмотрим, какие решения могут использоваться в ЦОДах:

Первым инфраструктурным решением можно назвать доступ в помещение по СКУД (системе контроля и управления доступом), проще говоря — доступ по карте.

Вторым решением служит источник бесперебойного питания (ИБП). Часто он выглядит как блок аккумуляторов с управляющей стойкой, способный обеспечивать ЦОД электроэнергией в течение примерно 10 минут — до включения дизельного электрогенератора, который, в свою очередь, может работать, пока хватает топлива. Энергонакопители также распределяются по разным группам даже в рамках одного ЦОДа, так как шкафы с серверами обеспечиваются двумя независимыми источниками питания — «розетками». Подробнее об этом мы поговорим далее, когда будем рассматривать серверные шкафы.

Третьим важным инфраструктурным компонентом является система пожаротушения. Она необходима и для безопасности сотрудников, и для отказоустойчивости инфраструктуры, что критически важно как при внутреннем использовании, так и при предоставлении услуг. Не менее важен аспект финансовых потерь — независимо от того, принадлежит оборудование вам или вы предоставляете место для чужого оборудования. Также стоит отметить, что система не должна быть водяной, так как вода губительна для оборудования. Простой альтернативой является газовое пожаротушение.

Четвёртым рассмотрим устройство фальшпола. Фальшпол — это пространство высотой примерно один метр под всей площадью ЦОДа. Оно предназначено для двух целей: организации кабельного менеджмента и системы кондиционирования воздуха. ЦОД строится так, что через переднюю часть серверного шкафа поступает холодный воздух, а сзади в результате работы серверов выдувается горячий. Так образуются холодные и горячие коридоры. В холодном коридоре из‑под фальшпола подаётся холодный воздух, а в горячем воздух отводится в потолок системой кондиционирования. В идеальном ЦОДе эта система герметична. Также при определённых конфигурациях можно учитывать, какие кабели будут проложены в тёплом коридоре, а какие — в холодном: температура может влиять на ломкость кабелей.

Пятым компонентом является сама система кондиционирования. В вопросе охлаждения всё очень индивидуально, но важно помнить одно: серверы выделяют много тепла, и их необходимо охлаждать. В классическом исполнении, как говорилось ранее, для этого используются кондиционеры, подающие холодный поток воздуха из‑под пола.

Если вы хотите глубже погрузиться в принципы конструирования центров обработки данных, можно изучить стандарты ISO/IEC 22237–1:2021 и ANSI/BICSI 002–2014 или их более свежие версии. При трудоустройстве вы можете столкнуться с тем, что организации, имеющие собственный ЦОД, не соответствуют значительной части норм и придётся работать с тем, что есть. Но даже в таких случаях важно не усугублять ситуацию, а постепенно приводить систему в соответствие с нормами.

1.1 Серверные шкафы

В данном разделе мы рассмотрим, как сконструированы серверные шкафы, и сразу оговорим несколько моментов, которые придётся учитывать в реальной работе.

Рассмотрим шкаф в разрезе на рисунке 1, чтобы наглядно увидеть, в каких местах могут возникнуть проблемы и какие части за что отвечают.

Наружные балки служат держателями стен и дверей. И те и другие при необходимости можно снять, но чаще всего снимают боковые стены для организации кабельного менеджмента. Кабельный менеджмент — это набор принципов организованной прокладки подключаемых кабелей для удобной эксплуатации шкафа. Поскольку большинство работ выполняется не полностью систематично, кабели часто берут те, которые есть в наличии, но даже в этом случае их всегда можно организовать правильно. Главное — придерживаться правила: в серверной не должно быть самостоятельно обжатых кабелей, только готовые.

При покупке шкафа или оборудования для него всегда учитывайте габариты. Даже если сервер помещается в шкаф, его кабели могут не поместиться, упираясь в PDU (распределитель электропитания, или, на жаргоне, «розетку»). Обычно устанавливаются два PDU, которые размещаются в задней части шкафа. В узких шкафах они могут занимать пространство и перекрывать разъёмы для подключения кабелей.

Шкафы бывают разной высоты — обычно 42U или 48U — и глубины — от 600 до 1200 мм. При выборе важно учитывать, что серверы и коммутаторы занимают определённое количество юнитов (U), а также требуют запаса по глубине для кабелей и вентиляции.

При установке шкафа учитывайте расположение плит фальшпола под ним. Шкаф должен занимать минимальное количество плит по ширине, а его передняя часть должна располагаться по краю плиты, не заходя на следующую. Это позволит установить перед шкафом перфорированную плиту для холодного коридора, если воздух подаётся через пол. Под самим шкафом устанавливается плита с отверстием, через которое проходят кабели. На рисунке 2 показано правильное расположение шкафа относительно плит. В передней части находятся перфорированные плиты, а в задней — закрытые. Под шкафами также предусмотрены отверстия, через которые проходят различные кабели:

1.1 Сервер и что он в себя включает

В информационных технологиях понятие «сервер» может иметь два значения:

1. Первое значение термина «сервер» — физическое вычислительное устройство, на которое планируется установить операционную систему.
По своим компонентам сервер мало чем отличается от обычного домашнего компьютера: у него также есть процессор, оперативная память, материнская плата, диски и так далее
Отличие заключается в архитектуре. В серверном оборудовании используются серверные процессоры, которые имеют большее количество ядер и сокет, предназначенный для серверных плат; при этом процессоров может быть установлено несколько.
Также в серверах больше слотов для оперативной памяти — терабайт ОЗУ в сервере является нормой для нагруженных систем, — есть возможность подключения большего количества дисков и разъёмы для дополнительных системных плат, выполняющих специализированные задачи. О них мы поговорим далее в курсе. Кроме того, сервер обычно оснащается двумя блоками питания, подключёнными к двум независимым системам электропитания.

2. Второе значение термина «сервер» — серверное программное обеспечение, которое устанавливается либо непосредственно на физическое оборудование, либо поверх операционной системы, установленной на этом оборудовании.
Здесь проходит тонкая грань: сервером можно назвать как саму операционную систему, так и отдельные её компоненты или программы, выполняющие серверные функции.
Мы сведём это понятие к простому правилу: «Программное обеспечение можно назвать сервером, если оно выполняет серверные функции». О том, что такое серверные функции и как они реализуются, мы поговорим далее.

На рисунке 3 приведён пример «серверного ПК» — сервера. Важно обратить внимание на то, что он плоский. Это сделано для удобства установки в серверный шкаф, предназначенный для размещения серверного оборудования и организации циркуляции воздуха. Также важно помнить, что серверы бывают разными по назначению и могут быть похожи, например, на дисковые хранилища для SAN‑систем или другое серверное оборудование.

Вы можете подробно рассмотреть устройство сервера на сайте: https://support.xfusion.com/server-3d/res/server/1288hv6/index.html?lang=en. Это 3D‑модель классического сервера, на которой можно увидеть его отличия от обычного ПК.

Мы получили базовое представление о том, что такое сервер. Теперь можно разобрать особенности и компоненты, с которыми вам придётся столкнуться при работе с серверным оборудованием. К таким компонентам относятся:

· Различные серверные платы: RAID‑контроллер, сетевая плата, SFP‑модули и другие.

· Оптоволоконные и медные кабели, а также их назначение.

· Настройка BIOS и BMC.

1.1.1 Серверные платы

Для подключения дополнительных плат служит PCI Express — стандарт шины, через которую устройства обмениваются данными с процессором и памятью. Слоты бывают разной длины в зависимости от пропускной способности:

Важно помнить, что плату с меньшей пропускной способностью можно устанавливать в слот с большей пропускной способностью. Скорость платы от этого не увеличится, но работать она будет. Пример показан на рисунке 4.

Различных серверных плат много, и со временем их будет становиться ещё больше под разные типы задач. Мы рассмотрим основные платы, которые чаще всего встречаются в профессиональной деятельности: RAID, Ethernet, Fibre Channel и HBA.
RAID‑контроллер — это плата, предназначенная для объединения дисков сервера в конфигурации, повышающие отказоустойчивость или производительность. RAID‑конфигурации бывают разными и предназначены для различных целей, но встречаются повсеместно. Подробно они рассматриваются в расширенном курсе.

Существует два вида взаимодействия дисков с RAID‑контроллером. Первый — через материнскую плату: RAID‑плата подключена к PCIe, а диски — к SATA. Второй — RAID‑плата подключена к PCIe, а диски подключены непосредственно к ней. Это знание нужно для понимания того, что диски могут не отображаться в BIOS обычным образом, а находиться в интерфейсе RAID‑платы. В итоге BIOS увидит только сконфигурированный RAID‑массив.

Ethernet‑плата — классическая плата с Ethernet‑портами, к которым подключается «медь», то есть витая пара или патч‑корд. Иногда в серверах устанавливаются две такие платы. Это делается для повышения отказоустойчивости на случай выхода одной из них из строя, что важно при построении отказоустойчивых систем, например кластеров.

Fibre Channel (FC) — это плата, предназначенная для подключения сервера к внешним системам хранения данных (SAN — Storage Area Network) по оптическому или медному каналу.
В отличие от обычных Ethernet‑карт, FC‑платы работают не с сетью в привычном понимании, а с блочными устройствами хранения, предоставляя доступ к удалённым дискам так, будто они подключены локально.

Обычно FC‑плата устанавливается в слот PCIe, а к ней подключаются оптические кабели с коннекторами SFP или SFP+. На другом конце этих кабелей находятся SAN‑коммутаторы, например Brocade или Cisco, либо дисковые массивы (Storage).

1.1.1 Оптоволоконные кабели

Перейдём к оптоволоконным кабелям. Сердцевина оптоволоконного кабеля изготовлена из высокочистого кварцевого стекла или, в некоторых случаях, пластика — в зависимости от типа кабеля. Поверх сердцевины находится стекло с меньшим коэффициентом преломления, благодаря чему свет остаётся внутри и распространяется по кабелю.

Тема оптоволоконных кабелей очень обширна. В данном курсе мы не будем углубляться в физические принципы работы луча и распространения света в разных средах. Для работы нам достаточно знать виды кабелей и их характеристики, чтобы понимать их назначение.

Оптические коннекторы различают по типу используемого волокна — одномодовому или многомодовому, — виду крепления — байонетному, резьбовому или защёлке, — количеству коннекторов и типу полировки торцов коннекторов. Последнее рассмотрим на изображении.

Начнём с различий по типу волокна. Кабели делятся на одномодовые и многомодовые. Основные отличия приведены в таблице:

На рисунке 5 также показана разница в распространении света по кабелю.

Одномодовое волокно применяется в высоконагруженных системах и на больших расстояниях, где требуется максимальная скорость и стабильность передачи сигнала.

Может возникнуть закономерный вопрос:

«Если одномодовое волокно лучше, зачем вообще использовать многомодовое?»
Ответ прост — в стоимости оборудования.
Устройства, которые формируют сигнал для одномодовых линий (в частности, лазерные передатчики), стоят значительно дороже.

Вывод:
Для магистральных линий, например между городами, используют одномодовое волокно.
А внутри дата‑центров или серверных помещений, где расстояния небольшие, — многомодовое, потому что оно дешевле при тех же скоростях на коротких дистанциях.

Рассмотрим виды крепления оптоволоконных кабелей. На самом деле их существует множество, но достаточно знать небольшой список наиболее распространённых типов, представленных на рисунке 6.

Разные типы креплений предназначены для обеспечения различной надёжности контакта.

· Резьбовой — обеспечивает высокую плотность и жёсткость прилегания кабеля, что может защитить сигнал от разрывов при интенсивных вибрациях или физических воздействиях. Чаще всего используется в системах, где оборудование подвергается вибрации.

· Байонетный — также обеспечивает достаточно жёсткое крепление со стальным наконечником, но с меньшей степенью давления.

· Защёлка — наиболее распространённый вариант в стационарных ЦОДах, так как обеспечивает достаточную надёжность крепления и позволяет достичь высокой плотности коннекторов.

Также рассмотрим многоканальный кабель, в котором множество волокон объединяются в один коннектор. Такие кабели называются MPO/MTP. MPO/MTP расшифровывается как Multi‑Fiber Push‑On/Pull‑Off. Технология позволяет проложить один кабель, содержащий, например, восемь волокон. Такие кабели используются в дата‑центрах для соединений со скоростью до 100 Гбит/с. Пример показан на рисунке 7

Теперь рассмотрим типы полировки торца коннектора оптоволоконного кабеля. Световой сигнал должен двигаться вперёд по оптоволокну, однако на стыках часть света отражается обратно к источнику, что может создавать шум и помехи для передатчика. На величину обратного отражения влияет тип полировки торца. Лучшие показатели у косого типа полировки APC, так как он позволяет минимизировать обратное отражение. Примеры типов полировки показаны на рисунке 8.

1.1.1 Кабели Ethernet (витая пара, медь)

Работа с витой парой необходима на ранних этапах, пока вы находитесь в статусе эникея — начинающего специалиста. Многие организации не выделяют достаточного бюджета на развитие ИТ, из‑за чего системным администраторам приходится самостоятельно обжимать кабели витой пары, а не закупать готовые. Поэтому мы изучим, что необходимо знать для работы с витой парой и где применять разные её типы.

На первых этапах вам часто придётся работать с витой парой: не только организовывать кабельный менеджмент, но и обжимать кабели. Это полезный навык, когда необходимо самостоятельно организовать сеть в помещении, используя один длинный рулон кабеля. Для самостоятельного обжима понадобятся инструменты для обжима и проверки сигнала, а также знание схемы обжима — порядка проводов в коннекторе.

Начнём со схемы обжима. Схемы бывают двух типов: прямая и кроссоверная. Прямая схема используется для соединения разных устройств: ПК — коммутатор, маршрутизатор — ПК. Кроссоверная схема, наоборот, применяется для соединения одинаковых устройств: ПК — ПК, коммутатор — коммутатор. На рисунках показано, в каком порядке провода устанавливаются в коннектор RJ-45 для каждого типа. Важно заметить, что смотреть на RJ-45 нужно медными контактами вверх, а язычком защёлки вниз.

Теперь рассмотрим, чем обжимают кабели и как проверяют прохождение сигнала. Для обжима используются следующие инструменты: обжимные клещи, стриппер, кусачки, кабельный тестер и punch‑down tool. Чаще всего стриппер и кусачки встроены в обжимные клещи. Пример комбинированных клещей, которые помогают обрезать кабель, очистить его от лишней изоляции и обжать, приведён на рисунке 9.

В работе вам может потребоваться пропускная способность медных кабелей не 1 Гбит/с, а 10 Гбит/с. Здесь есть важный момент: на кабелях указывается их категория, по которой можно определить пропускную способность и уровень защиты от помех. Ниже приведена небольшая таблица соответствий(сейчас есть стандарты и выше):

На рисунке 10 можно увидеть, как кабели выглядят вживую:

1.1.1 BIOS (UEFI) и BMC

BIOS (Basic Input/Output System) — базовый набор программ, позволяющий настроить аппаратную среду сервера и запустить операционную систему.

На рынке серверов каждый производитель реализует собственную конфигурацию BIOS. Нам не нужно изучать их все: принципиально они похожи. Важно знать, что искать и где. Мы рассмотрим основные настройки BIOS, необходимые для первичной настройки сервера. К ним относятся настройка консоли BMC и RAID‑контроллера, если он присутствует в комплектации, а также настройка диска Hot Spare.

Для начала разберёмся, что такое Hot Spare. Hot Spare — это резервный диск, который используется для замены одного из дисков RAID‑массива в случае его выхода из строя.
RAID — технология, позволяющая логически объединять диски для повышения отказоустойчивости или производительности. В данном курсе мы не будем подробно разбирать преимущества каждого уровня RAID и наиболее распространённые конфигурации, но узнаем, как конфигурировать RAID в BIOS.

Чтобы настроить RAID‑контроллер, достаточно открыть в BIOS вкладку Advanced и найти раздел конфигурирования RAID. В зависимости от производителя название раздела может немного отличаться. Пример выделен на рисунке.

Далее необходимо перейти в Main Menu.

После этого можно открыть меню конфигурирования RAID‑массива во вкладке Configuration Management.

Далее выбираем Create Virtual Drive. На этом этапе может возникнуть вопрос: «Почему диск называется виртуальным?». Виртуальный диск — это логическое устройство, необходимое для того, чтобы ОС могла определить RAID из двух или более дисков как одно устройство.

Начинаем настройку самого RAID. Рассмотрим один из вариантов конфигурации сервера: RAID 1 + Hot Spare. Hot Spare — это диск, который автоматически заменяет вышедший из строя диск в RAID‑массиве.

Далее выбираем раздел Select Drives. Мы попадаем в окно выбора дисков для настраиваемого RAID‑массива, нажимаем Apply Changes, а затем в новом окне — Save Configuration. Важно выбрать количество дисков, допустимое для выбранного уровня RAID. В противном случае появится сообщение о невозможности сконфигурировать выбранные диски в RAID.

Далее возвращаемся к предыдущим окнам и выбираем раздел Drive Management. Здесь необходимо выбрать диск, который не был включён в RAID, и перевести его в режим Hot Spare. Доступны два варианта: Dedicated Hot Spare — назначается для конкретного RAID 1/Virtual Drive (VD 0, Array A и тому подобное); Global Hot Spare — становится резервным для любых массивов на контроллере. В нашей конфигурации будет использоваться Dedicated Hot Spare с указанием нужного RAID‑массива.

Мы рассмотрели конфигурацию RAID + Hot Spare. Такой вариант удобен, быстр в настройке и требует минимальных затрат. Если один из дисков выйдет из строя, его можно извлечь «на горячую», то есть не останавливая работу сервера, и установить новый диск. Система самостоятельно восстановит необходимую конфигурацию.

Теперь разберём работу с BMC (Baseboard Management Controller). BMC — это контроллер на материнской плате, предоставляющий доступ к специализированному веб‑интерфейсу. Он позволяет отслеживать показатели сервера, просматривать информацию об ошибках оборудования, проводить диагностику и управлять сервером независимо от операционной системы.

Для работы с BMC прежде всего необходимо настроить статический IP‑адрес. Для этого найдите в BIOS раздел BMC, затем откройте Network Configuration и задайте статический IP‑адрес вашей сети. После этого можно вернуться на рабочее место и управлять сервером, не заходя в ЦОД.

Заключение

На этом остановлюсь. Дальше переход к Базе по ОС, но её выложу немного позже.

Понятно что данный набор не охватывает и десятой всего спектра работ, так как само только конструирование ЦОДа в сочетании с ITIL практиками имеет миллионы особенностей и нюансов. Но если предположить что вы только собираетесь начать работу системного администрирования. думаю информация может оказаться достаточной и полезной.