«Комната грязи» РТК-Сервис: как мы отскребали и ремонтировали дорогущее сетевое оборудование

Многие говорят, что работа инженером — это «чистая работа». Сидишь себе в помещении с электроникой, с железками — никаких проблем, и никакой грязи. По опыту сотрудников ремонтного цеха при лаборатории сетевых технологий РТК-Сервис, это далеко не всегда так!

Привет, Хабр! Под катом читайте о том, как устроена у нас такая ответственная зона, как ремонтный цех, а также историю о чистке реально самого грязного железа, которое можно себе представить!

У нас в РТК-Сервис – большая лаборатория для работы с телекоммуникационным оборудованием. Часть лаборатории отдана под ремонтную зону, где работают инженеры и системотехники. Без лишней скромности можно сказать, что эти ребята у нас — на вес золота! Что неудивительно: сетевое оборудование дорогущее, а профи, которые реально умеют его чинить – по пальцам пересчитать.

Этот пост станет небольшой виртуальной экскурсией в нашу святая святых.

Поскольку в парке оборудования наших клиентов – телеком-операторов – есть все, что угодно, мы как раз занимаемся тем, что чиним любое сетевое оборудование! И это не значит, что у нас нет специализации. Просто она настолько обширна, что охватывает, пожалуй, все, кроме отживающих своё древних АТС из 90-х. Если они где-то все-таки встречаются, то их уже предпочитают не чинить, а выбрасывать и менять на что-то современное.

На ремонт с завидной регулярностью приходит различное транспортное и IP оборудование, коммутаторы GPON, цифровые АТС, блоки питания и так далее. И поскольку сегодня на сетях стоят самые разные модели, мы имеем дело с железом всех ведущих производителей, как зарубежных, так и отечественных. Тем не менее, можно сказать, что у наших инженеров — специализация по сложному промышленному оборудованию, которое установлено только на сетях операторов связи. Никакие другие отрасли его не используют. А еще оно безумно дорогое. Поэтому и специалистов по такому железу днем с огнем не сыщешь.

Как чинить тяжелое телеком-железо?

Основная сложность в обслуживании такого железа — не только в широте его номенклатуры. Чтобы сделать что-то с условным Juniper-ом, нужна лаборатория, соответствующие проверочные стенды, иначе мы не сможем провести даже диагностику, воспроизвести проблему и удостовериться, что ты ее устранил. 

Во-первых, необходимо куда-то подключить и запитать, для этого нужны шасси. Также нужен хотя бы минимум карт, чтобы устройство просто запустилось без трафика. Далее для полноценных проверок нужны генераторы трафика, потому что большинство проблем, которые нам нужно отловить, возникает тогда, когда нагрузка приближается к максимальной пропускной способности каждого из устройств.

Именно поэтому мы содержим у себя в лаборатории целый машинный зал со стендами. Сейчас у нас 43 стойки, которые забиты мультивендорным железом (Huawei, Nokia, ECI, NEC и другие), установленном на сетях наших заказчиков. Ряды стоек разбиты по технологиям – ряд DWDM, ряд IP и так далее. Вся эта красота помогает в точности эмулировать телеком-инфраструктуру наших заказчиков.

Разные случаи, конечно, бывают. Например, у нас однажды целый месяц стояла одна плата в диагностике (IP от Juniper), то есть под трафиком. В результате мы вернули обратно без ремонта, так и не обнаружив никаких неполадок. Просто если причиной «поломки» является специфика конфигурации, баг ПО, внешние условия эксплуатации, мы, конечно, ничего сделать не можем.

SPA для железа 

Отдельный вид мазохизма наших инженеров-ремонтников – это специальная «комната грязи», в которой можно отчистить все, что в принципе подлежит очищению. Те же следы коррозии, которые очень часто встречаются на старом оборудовании.

Здесь установлена ультразвуковая ванна, которая помогает очищать залитые и испачканные платы.

Пескоструйная камера, к которой подключен компрессор, создающий поток сжатого воздуха. 

Герметичная камера на самом деле нужна не для самих серверов, а для нас. Чтобы не дышать тем, что сдувается и смывается с грязного железа. А оборудование бывает очень даже не в лучшем виде. Запыленные коммутаторы — это, в принципе, нормально. Увы, эксплуатация не всегда следит за чистотой, особенно когда дело касается вентиляторов и фильтров. То, что установлено прямо на улицах, может быть с листвой, жучками, паучками и прочей прелестью. Это могут быть как радиорелейные станции и компоненты WiMAX (до осмотра которых руки доходят очень редко), так и любые другие коммутаторы — все, что можно поставить в уличный шкаф. Некоторые устройства стоят вообще в труднодоступной местности — как минимум вдоль всех наших нефтяных и газовых трубопроводов тянется сеть передачи данных.

В результате некоторые вещи вообще надо бы отмывать на автомойке. И хотя у нас нет мощных моек под давлением Karcher, но зато есть большая раковина. И леечка! Тут мы смываем самую грязную грязь, которая только бывает.

Грязный чемпион!

Однажды в наш ремонтный цех попало самое грязное оборудование, которое можно представить. В прошлом году к нам приехали устройства Juniper со склада ЗИП из Сочи. Лежали себе запасные железки, ждали своего часа, но тут сошел сель (для Сочи это нормально) и подтопил склад. То есть это была не просто вода, а жижа с грязью и прочей нечистью.

Обнаружили порчу маршрутизаторов только через 10 дней. Потом какое-то время люди думали, что с этим ужасом делать — то есть композитная смесь из ИТ-оборудования и глины еще стояла какое-то время. Потом ехало из Сочи в Москву. Думаете, кто-то промывал или хотя бы отряхивал его? Нет!

Вот его мы и мыли в нашей большой раковине. Но не выкидывать же – железа на три ляма! К такому нас жизнь не готовила, но мы справились! Всего к нам поступило 11 устройств в ужасном состоянии. Из них в сумме удалось полностью восстановить 3 маршрутизатора. И несколько отдельных плат тоже восстановили.

Наши грязные «гости» прошли по несколько итераций в ультразвуковой ванне, затем просушивались. Каждую единицу оборудования раскручивали, а дальше скребочками и кисточками, вручную, аки археологи, мы добирались до микросхем. Потом чистили сжатым воздухом. Итого на «разобрать до винтика и отмыть» у нас ушел месяц. Вынесли в процессе несколько ведер грязи. После этого оборудование еще долго тестировалось и проверялось.

В результате получилось вполне приличное железо. Да, его внешний вид оставлял желать лучшего, но 3 из 11 Juniper-ов продолжили работать. Не как новое, конечно, но его можно уверенно использовать в качестве резерва, ЗИПа, тестовых стендов, на некритичных участках сети. Это танки грязи не боятся, а тут все-таки чувствительная электроника. Кстати, оборудование в таком виде было, конечно, вне SLA, но мы чудесным образом уложились в 90 дней под ключ.

К счастью, такую красоту нам привозят не каждый день! А вы бы выкинули такое оборудование, или возник бы азарт починить?