Реанимация ИТ инфраструктуры

Приветствую, Хабражители.

Досталась мне в «наследство» ИТ инфраструктура бюджетной организации, очень мощная, с заделом по производительности, но абсолютно не управляемая. Что имеем:

• 4000 хостов в сети
• Коммутаторы уровня доступа: Cisco Catalyst 35xx (~2500 портов)
• В центре оптический коммутатор Cisco Catalyst 6500
• Беспроводные точки доступа Cisco разных моделей (~1500 клиентов ежедневно) под управлением контроллера Cisco 44xx
• В интернет выпускает маршрутизатор Cisco 38xx
• В сети создано более 50 vlan-ов

Все это приправлено неопределенным количеством аппаратных и виртуальных серверов (точно более полусотни). Именно ввиду того что отсутствует всякая документация (записки админов не в счет) невозможно облечь параметры сети в какие-либо конкретные цифры.

Как так получилось? Да очень просто — средняя ЗП админа 12 тысяч рублей, отсюда очень большая текучка кадров и патологическое нежелание нормально работать у тех, кто все-таки пожелал остаться работать. Второй момент — было много дорогих проектов с очень правильными целями, которые так и не были доведены до логического завершения. В третьих — крайне низкие навыки и культура владения компьютерной техники у большинства персонала.

Изначально, когда деревья были больше и трава зеленее, а количество портов только переваливало за 1000, задумывалось все красиво и грамотно:

Инфраструктура

Сеть строилась и строится только на оборудовании Cisco Systems. В ядре сети стоит оптический коммутатор, магистрали проложены только оптикой, уровень доступа исключительно управляемые L3 коммутаторы Cisco. На всех портах уровня доступа стоял port security с меткой по MAC-адресу, при подключении другого компьютера — порт падал. От этого стали отказываться в тот момент, когда ноутбук мог себе позволить средний сотрудник. Естественно он пер его на работу, втыкал и жаждал работать, но получал падение порта, нервы и т.д., плюс к этому болезненная тяга некоторых сотрудников к перемене мест тоже не способствовало развитию этой практики.

Логика сети

Создавались виртуальные сегменты сети с привязкой оных к конкретному территориальному расположению. Эта практика канула в лету после того, как пришла светлая мысль выдавать vlan на порт по подразделениям и изолировать их от остальных подсетей. Но люди, которые это начинали, ушли и получилось что успели наплодить vlan-ы и ACL, но развернуть в масштабах предприятия и убить старую логику не успели. Получился бардак.

Парк машин

99,9% всех машин это Windows. Как рулить? Конечно домен! Сказано — сделано. Подняли, настроили, завели орг. структуру, повесили групповые политики, завели пользователей и получили мегапросер (уж извините за мой французский, но организационные мероприятия, сопутствующие техническому решению, были слиты в унитаз). Среднестатистический компьютер использовался несколькими людьми в течении рабочего дня. Кому было лень запоминать логин и пароль, тот клеил его на монитор, остальные даже записью на бумажку (кстати, были и распечатанные карточки с учетными данными, которые терялись еще быстрее чем рукописные) не утруждали себя и ходили на машины с «расшаренным» паролем. Кто-то видел незавершенный сеанс, садился, работал, сохранял документы, на следующий день работая уже со своим профайлом матом орал «Где мои документы, которые я делал вчера, папка Мои документы пустая». В итоге реально домен работает только в одном подразделении, где с давних времен работают очень образованные люди в плане ИТ.

Информационные сервисы

Как таковых в нашей организации их нет. К ним можно с определенной натяжкой отнести сайты-визитки подразделений на доменах третьего уровня. Здесь отдельная история. Был хостинг — взломали. Создали новый «более защищенный», перетащили наиболее важные сайты на него — опять взломали. Создали третий — история повторилась. В итоге имеем 4 или 5 хостингов плюс площадки тех подразделений, где есть собственные разработчики.

Наше время

Все эти проблемы с течением времени и ростом количества абонентов только множились, приходили очень грамотные люди, пытались латать дыры, набирались опыта и уходили без сожаления на более адекватные деньги, а все их начинания обрастали тиной и только создавали проблемы ввиду необходимости определенных навыков у админов для их эксплуатации. Много проблем добавил проект по разворачиванию WiFi сети (60 точек). В сеть полезли нетбуки, планшеты, телефоны. Постоянно слышны упреки руководства, что тормозит сеть, на поверку оказывается, что локальная сеть работает едва ли на 10% своей мощности, а все упирается в ширину канала провайдера (90 Мбит).

Что делать?

Для себя наметил три этапа работ, чтобы разгрести этот хаос и при этом не порвать пупок, а главное *опу

Первый этап: «Контролируй всех и вся»

Прикрутил сбор статистики по SNMP с оборудования. Использовал Cacti. Поставленные задачи решает на 100%, красивые графики, руководству нравится.
Поставил и настроил тикетную систему(OTRS), развел отделы по очередям, эскалация и все такое. Открытого разгильдяйства стало меньше. Опять же отчетики для руководства, вроде тоже нравится.
Планируется поднять нормальный Call-центр, диспетчерскую службу, чтобы ни один звонок не ушел в никуда и админы не хлопали глазами, мол «ничего не знаю, не помню, может звонили», а заодно убрать личный контакт админов и персонала.
Планируется прозрачный прокси и жесткое гестапо (ненавижу «Вконтакт»! Дает более 50% трафика).
Как только я в мельчайших деталях пойму что у меня происходит в сети можно смело переходить ко второму этапу.

Второй этап: «Санитарный»

Кремация всего мертворожденного, умершего своей смертью, но находящегося в состоянии зомби, или адово агонизирующего. Иными словами удаление лишних Vlan-ов, перенос аппаратных серверов на виртуалки. Из высвобождающегося железа собрать какой-нибудь кластер, пока не решили какой. Цель всего этого этапа сделать из того что есть максимально простую по структуре, и удобную, понятную по обслуживанию систему. Причем сделать это нужно максимально незаметно для пользователей, ибо внутреннее сопротивление организации всему новому носит просто колоссальный по силе характер.

Третий этап: «Мы и не такое можем»

Если всем этим смогут управлять пара толковых админов (эникейщики не в счет), то можно будет сосредоточится на создании единого информационного пространства, с порталом и реальными информационными сервисами. Но видится мне, что будет это не скоро.

На сим хочу завершить свое повествование, спасибо за внимание, жду критику по существу.
Если сообществу будет интересно, то буду публиковать конкретные пути решения стоящих перед нами задач.