Что такое чемпионат мира 2018?
Это 206 команд и болельщики со всех уголков земного шара.
Это 12 стадионов в 11 городах и Центр управления информационными технологиями (ЦУИТ) в Москве. [1]
А ещё это много, очень много работы для организаторов матча.
Без чего чемпионат не будет чемпионатом?
Чемпионат — это прежде всего освещение события. Трансляции матчей, публикации в СМИ, информация в Интернет на свободных ресурсах.
И… как ни странно, освещение в буквальном смысле слова — прожекторами на стадионе.
Казалось бы, чемпионат — это прежде всего футболисты и тренеры. А ещё болельщики. Но это не совсем так. Вся игра идёт на том поле, которое обеспечили организаторы. И тут важно не только какое будет поле стадиона, но и какое информационное поле будет создано вокруг всего этого.
И чтобы всё прошло как надо, от устроителей чемпионата требуется максимум профессионализма и прилагаемых усилий.
Говоря об информационном поле, вспоминается старый анекдот: «Спорят программист с системным администратором кто главнее, а мимо проходит электрик и просто отключает свет…».
Какое оборудование бы мы не использовали, какие технологии не применяли, ключевым вопросом всегда остаётся подача энергии.
В принципе, задачи такого уровня не являются чем-то из рук вон выходящим. В России достаточно крупных предприятий с филиальной инфраструктурой, где случайное отключение какого-либо устройства выливается в крупные убытки. Но тут надо понимать, если один специалист на одном участке допустит сбой электроснабжения, об этом узнает его начальник, узнают его коллеги, в самом серьёзном случае об этом узнает весь комбинат.
Но если подобного рода инцидент случится во время проведения Чемпионата мира и произойдёт внезапное отключение важного оборудования, об этом узнает весь мир. Риск потери репутации не в пример больше.
Поэтому важно не только завести линию электропитания, но и обеспечить его бесперебойную подачу, контроль и своевременную реакцию на любую, даже самую маленькую проблему.
То есть нужна система мониторинга, система техподдержки и хороший запас надёжного аппаратного обеспечения. И, разумеется, команда профессионалов, способная это реализовать.
Поддержка бесперебойного электроснабжения легла на плечи ООО «Системотехника», сотрудником которой я и являюсь. Далее приведу несколько интересных нюансов о том, как это было выполнено.
Оборудование
Для того, чтобы систематизировать подход, необходимо выполнить некоторую классификацию задач.
Было выделено основные три группы объектов:
1. Главная технологическая аппаратная /Primary Technical Area (ГТА/PTA)
2. Вспомогательная технологическая аппаратная /Secondary Technical Area (ВТА/STA)
3. Местная технологическая аппаратная /Local Technical Area (МТА/LTA)
Для их поддержки определены три типа оборудования Тип 1, Тип 2, Тип 3.
Когда были определены требования к оборудованию, встал вопрос о выборе модельного ряда для размещения.
Какое оборудование выбрать?
На рынке представлено довольно много предложений, в том числе и от известных западных брендов.
Но не будем забывать об особенностях мероприятия. Любая, даже самая маленькая неприятность должна быть ликвидирована в кратчайшее время.
Для этого должен быть предусмотрен резерв всех комплектов оборудования, что давало бы возможность скоростной модульной замены проблемного устройства без детального выяснения и устранения причины возникновения проблемы. Такой подход обеспечил высокую скорость монтажных и пуско-наладочных работ на объектах. Так, была произведена мгновенная модульная замена 11 ИБП, которые не по вине производителя, вызвали сложность при включении их в общую систему. Использование известных дорогих брендов потребовало бы очень большой бюджет, а лишних затрат всегда желательно избегать.
И, разумеется, при всём при этом остаются высокие требования к надёжности, доступности для мониторинга, ремонтопригодности и так далее.
В совокупности все эти факторы и определили главного претендента на роль «рабочей лошадки» обеспечения бесперебойной питания для чемпионата — российский бренд «ИМПУЛЬС».
Осталось выбрать соответствующие устройства для каждого типа объекта.
Общие сведения об используемом оборудовании ниже.
Типы ИБП и их характеристики
Тип 1
Тип используемых ИБП – двойного преобразования (ON-LINE DOUBLE-CONVERTION)
Номинальная мощность ИБП – 20 кВА,
Напряжение питания вход/выход — 380В,
Время автономной работы — не менее 30 минут.
Выходной коэффициент мощности – не менее 0,8
Оборудование — ИМПУЛЬС ПРОМ TL 3330 [2]
Тип 2
Тип используемых ИБП – двойного преобразования (ON-LINE DOUBLE-CONVERTION)
Номинальная мощность – 3 кВА
Напряжение питания вход/выход – 220 В.
Время автономной работы – не менее 30 минут.
Выходной коэффициент мощности – не менее 0,8
Оборудование — ИМПУЛЬС ФРИСТАЙЛ 11-3 + 1 батарейный кабинет [3]
Тип 3
Тип используемых ИБП – двойного преобразования (ON-LINE DOUBLE-CONVERTION)
Номинальная мощность – не менее 1 кВА
Напряжение питания вход/выход – 220 В.
Время автономной работы – не менее 30 минут.
Выходной коэффициент мощности – не менее 0,8
Габариты устройства должны позволять устанавливать в шкаф 600х600х635 мм.
Оборудование — ИМПУЛЬС ФРИСТАЙЛ 11-1 + 1 батарейный кабинет [4]
Общее количество установленных на всех объектах ИБП ИМПУЛЬС – 794 шт. Всё оборудование было распределено между 14 площадками, включая 12 стадионов в различных городах РФ, офис Оргкомитета и Центр управления информационными технологиями (ЦУИТ) в Международном вещательном центре Чемпионата, находящегося на территории «Крокус-Экспо».
Из этой распределённой схемы плавно вытекла следующая задача — мониторинг большого числа объектов на 14 удаленных площадках.
Мониторинг
Первоначально предполагалось использовать программу SNMP Viewer. В принципе это достаточно неплохое решение для тривиальных задач.
Но для поддержки мероприятий уровня Чемпионата мира 2018 требуется максимальная гибкость системы мониторинга для контроля большого числа параметров и интеграция с общей системой мониторинга Чемпионата Мира по футболу 2018.
Поэтому было решено сделать широкий жест — взять на себя дополнительную задачу и самостоятельно подобрать решение в рамках Opensource, хорошо зарекомендовавшее себя и имеющее высокий уровень документированности. Выполнить его установку, настройку и ввод в эксплуатации.
Выбор пал на Zabbix [5] как проверенное решение с хорошей информационной поддержкой.
В качестве одного из методов инсталляции разработчики Zabbix предлагают простой и эффективный путь — скачать готовую виртуальную машину и выполнить собственные настройки.
Первоначально для тестирования возможностей и совместимости Zabbix использовался образ гостевой системы под управлением VirtualBox, в качестве host-сервера выступал компьютер с операционной системой семейства MS Windows.
Далее, после настройки и адаптации, этот образ был развёрнут на отдельном сервере.
Стоит отметить интересный момент в организации принципов мониторинга всей этой развёрнутой системы. Внутренние модули управления «ИМПУЛЬСов» прекрасно адаптированы для использования SNMP, в том числе применения механизма SNMP Trap. Но на практике оказалось, что процесс приёма и обработки всех таких сообщений приводит к большой загрузке системы с Zabbix.
Высокая загрузка сама по себе не является большим злом, но высоконагруженная система требует пристального внимания. Получается ещё одна точка для контроля и постоянного обслуживания. А это совсем ни к чему, забот и без этого хватает.
Поэтому в итоге было принято решение отказаться от механизма SNMP Trap и перейти к схеме получения запросов от сервера мониторинга («get»-запросы), выполняемых по расписанию.
Помимо снижения нагрузки это помогло повысить гибкость системы.
Одни запросы отправлялись раз в 10 минут, другие – каждую 1 минуту, далее 30 секунд.
В итоге всё заработало как нельзя лучше. От системы мониторинга приходили только нужные уведомления и в указанное время.
Но даже самая лучшая система мониторинга нуждается в людях, которые будут реагировать на события. Об этом речь пойдёт ниже.
Техподдержка
Надо отметить, что создание единой сплочённой команды техподдержки — сама по себе серьёзная задача. Но у нас получилось.
По требованию организаторов на объектах всегда должен присутствовать технический специалист. Первая смена заступала на работу в 5-30 последняя заканчивала работу в 2-30. Обычно работало минимум 2 человека в сутки.
Условным ориентиром был финальный свисток судьи плюс 3 часа на проведение пресс-конференций каждой из футбольных команд, загрузку и передачу журналистами своих медиа-материалов, созданных во время матча.
Для организации всей распределённой структуры нам помогло приложение «Okdesk» [6].
Okdesk – первое специализированное Help Desk решение для автоматизации процессов обслуживания в сервисных компаниях.
На смартфонах сотрудников было установлено мобильное приложение Okdesk, которое позволяло им всегда быть на связи и иметь максимум информации.
Поскольку речь идет о событии мирового масштаба, таком как Чемпионат Мира, к которому приковано внимание миллиардов людей со всей планеты, критически важным становится проактивное реагирование на возможные инциденты и поддержание максимально близкой к 100% непрерывности работы всей установленной инфраструктуры. С такой задачей можно справиться только при выстроенных и автоматизированных процессах технической поддержки и обслуживания.
В приложении Okdesk была реализована интеграция с обслуживаемой инфраструктурой бесперебойного питания на объектах, которая позволяла превентивно (ДО) реагировать на различные события и принимать оперативные решения по их устранению. Встроенные инструменты распределения заявок, возможность получения мгновенных сообщений о любых внештатных ситуациях на объектах в любой точке через мобильное приложение с последующей прокладкой оптимального маршрута между ЦУИТ и дежурной бригадой реагирования, смогли обеспечить максимальную оперативность решения всех вопросов по организации мероприятия.
Наша техподдержка максимально плотно сотрудничала с внутренней техподдержкой Чемпионата 2018 года. Одна база инцидентов, одни и те же каналы взаимодействия. Это позволило избежать дополнительных потерь времени, например, на пересылку заявки или информации об инциденте.
Как это происходило
Рассказ был бы неполон без описания того, как всё это происходило на практике.
Работу по организации чемпионата можно условно разделить на две фазы:
• подготовительная — когда готовились объекты и происходило множество работ, в первую очередь строительных
• проведение чемпионата — игры и всё, что с ними связано.
Как ни странно, наиболее серьёзным испытание для оборудования, людей и работы всех систем была именно подготовительная фаза.
Стройка вообще не лучшим образом сказывается на работе систем электропитания. В частности, очень большого труда стоило объяснить рабочим, что не нужно включать перфораторы и другой инструмент в сеть бесперебойного питания.
Соответственно, срабатываний защиты и перехода на батарею было очень много. Для инженерной службы переход на батарею — нормальный штатный режим работы, а для устроителей чемпионата — это серьёзный инцидент.
На диаграмме 1 видно количество переходов и разделение по времени питания от внутренней батареи.
Стоит отметить тот факт, что все ИБП, установленные на объектах показали соответствие требованиям автономной работы (не менее 30 минут).
Во время подготовки в некоторых случаях приходилось обеспечивать до 4 часов работы от батареи.
От себя отмечу, что блоки питания «ИМПУЛЬС» отлично показали себя в этих непростых условиях. Если в начале ещё были некоторые сомнения по поводу применения российского бренда, то к концу подготовительного периода они полностью развеялись.
Если нужен недорогой неубиваемый ИБП, «ИМПУЛЬС» — это то, что надо.
Зато, когда начался чемпионат — все строительные и другие работы по подготовке были прекращены, а с ними практически прекратились инциденты.
В целом, все прошло отлично, что, в общем-то могут подтвердить и как организаторы, так и болельщики.
Заключение
Чемпионат мира закончился.
Работы по его обеспечению завершены, но работы для нас еще продолжались определенное время. Нам предстояли работы по разборке, демонтажу и вывозу оборудования со стадионов.
Что мы приобрели в итоге?
Отличное испытание оборудования в самых, что ни на есть, жёстких условиях и с высокими требованиями к качеству сервиса.
Сплочённую команду и бесценные навыки по её организации.
Опыт работы в поддержке масштабных мероприятий.
Если говорить о чувствах, которые испытывают, наверное, многие из нас — это гордость и удовлетворение.
Гордость за наше оборудование, за представляемый нами бренд, за нашу команду. И удовлетворение от хорошо выполненной работы.
Источники
[1] Официальная страничка чемпионата https://ru.fifa.com/worldcup/
[2] Описание ИБП «ИМПУЛЬС» ПРОМ TL 3330 http://impuls.energy/ibp/online/
[3] Описание ИБП «ИМПУЛЬС» ФРИСТАЙЛ 11-3 http://impuls.energy/ibp/online/fristayl11/fristayl-11-3-3-kva
[4] Описание ИБП «ИМПУЛЬС» ФРИСТАЙЛ 11-1 http://impuls.energy/ibp/online/fristayl11/fristayl-11-1-1-kva
[5] Официальный сайт проекта Zabbix https://www.zabbix.com/
[6] Сайт «Okdesk» https://okdesk.ru/
ссылка на оригинал статьи https://habr.com/post/422503/
Добавить комментарий