О профессии AIOps: модно-молодежно, денежно, но пока на нее не учат

Привет Хабр! Как профессия, подобная роли DevOps-инженера, AIOps пока не сформировалась в четко определенную должность. В компаниях задачи, связанные с AIOps, выполняются спецами из разных областей, такими как DevOps, Data Science, IT Operations. Эти спецы могут работать над внедрением и поддержкой решений AIOps, но они обычно не называют себя AIOps-инженерами. Со временем, по мере развития этой области, возможно, появятся более специализированные роли, но на текущий момент AIOps скорее представляется как инструмент или набор практик, а не как самостоятельная профессия.

Что такое AIOps

По своей сути термин AIOps (Artificial Intelligence for IT Operations) расшифровывается как использование инструментов расширенной аналитики, таких как искусственный интеллект (ИИ) и машинное обучение (ML), для быстрой и эффективной автоматизации ИТ-задач. ИИ в этом контексте подразумевает широкий спектр технологий, которые позволяют имитировать когнитивные функции, такие как распознавание образов и речи, а также выполнять сложные ИИ-задачи по прогнозированию событий и принятия решений на основе больших объемов данных. 

На современном этапе технологий, вместо того, чтобы с помощью AIOps заменять DevOps-инженеров, речь в основном идет о расширении компетенций DevOps. Именно эти специалисты используют методы AIOps для управления, отслеживания и устранения сложных проблем, связанных с цифровыми платформами и инструментами.

AIOps также предоставляет ИТ-спецам возможность анализировать большие объемы машинных данных, производимых многочисленными цифровыми платформами предприятий. Благодаря этому получается быстрее решать проблемы управления инфраструктурой и поддерживать непрерывность юизнеса. А также, в некоторых случаях, отрабатывать возможные алерты еще до их возникновения, используя ML для выявления аномалий, предсказания потенциальных сбоев и автоматизации реакций на них.

Типы AIOps по мнению AWS

Хотя на сайте AWS (Amazon Web Services) пока не предлагается решений «AIOps под ключ», — сервис отмечает, что существует два типа решений AIOps, и каждый из них отвечает на разные запросы.

Доменноцентрическая AIOps — это инструменты на базе искусственного интеллекта, которые нацелены на определенные области. Например, операционные команды используют такие платформы для мониторинга производительности сетей, приложений или облачных сервисов. Эти инструменты специально разработаны для решения задач в конкретной области, помогая лучше управлять локальными аспектами ИТ-инфраструктуры внутри компании.

Локальные AIOps — это более универсальное решение, которые ИТ-команды могут использовать для масштабирования прогнозной аналитики и автоматизации ИИ на уровне всей организации. Эти приложения собирают данные о событиях из различных источников, объединяют их и предоставляют ценные инсайты, охватывающие все аспекты корпоративных операций.

Теперь немного о том, как AIOps может помочь DevOps-командам поддерживать цифровую трансформацию бизнеса в компании:

1. Мониторинг производительности приложений (APM). Используется как метод сбора метрик при обмене данными между микросервисами, API и хранилищами данных (data lake). DevOps-инженеры обращаются к сервисам ML/AI для мониторинга и сбора метрик производительности.

2. Выявление первопричин отказов. Технологии ИИ и машинного обучения позволяют быстро обрабатывать большие объёмы данных и сопоставлять различные причины отказов. При правильном применении AIOps, можно не только получать алерты об отказах, но и добираться до сути проблем, влияющих на производительность ИТ-систем.

3. Обнаружение аномалий в данных. Аномалии — это отклонения от обычного состояния данных, которые могут указывать на проблемы в ИТ-системе. AIOps используется как инструмент для оценки и прогнозирования в реальном времени, что позволяет быстро выявлять такие отклонения и принимать меры.

4. Автоматизация и оптимизация облака. AIOps может помочь в переносе ИТ-инфраструктуры в облако (т.н. «облачная трансформация бизнеса»), обеспечивая наблюдаемость и автоматизацию процессов. AIOps можно использовать для выделения и масштабирования ресурсов IaaS/Paas по мере необходимости. Хотя у облачных провайдеров (включая AWS, Azure и др.) есть инструменты автоматического масштабирования ресурсов дата-центра под нагрузку клиентов, но они обычно рассчитаны на уровень SaaS, а если организация использует дата-центр как bare metal, то заниматься масштабированием надо самим, в т.ч. с возможной помощью AIOps.

5. Поддержка разработки приложений. Уже сегодня DevOps-инженеры начинают использовать инструменты AIOps для улучшения качества кода. Эти инструменты позволяют автоматизировать проверку кода, внедрять лучшие практики сборки приложений и выявлять ошибки на ранних этапах разработки. Например, Atlassian использует Amazon CodeGuru, чтобы сократить время на расследование аномалий поведения приложения с нескольких дней (ручной анализ) до считанных минут.

Скорее всего, так будет выглядеть профессия  AIOps-инженера

Профессия AIOps-инженера предполагает специалиста, который сочетает знания в области ИТ-операций с навыками работы с ИИ и ML. Как это представляется в 2024 году, основной круг задач у AIOps-инженера будет заключается в использовании технологий ИИ и ML для автоматизации процессов мониторинга, анализа данных и устранения инцидентов в ИТ-инфраструктуре.

Кстати, с автоматизированной сборкой билдов и патчей сегодня справляются существующие инструменты CI/CD (Continuous Integration/Continuous Deployment или Continuous Delivery). Это Jenkins, GitLab CI/CD, CircleCI, Travis CI, TeamCity, Bamboo, Gradle, Maven и др. CI/CD — инструменты разработки программного обеспечения, которые автоматизируют процесс сборки, тестирования и развертывания кода. Общее назначение инструментария CI/CD — для ускорения и повышения качества процесса разработки ПО.

Ключевые обязанности AIOps инженера могут включать:

• Настройку и управление инструментами AIOps, которые собирают и анализируют данные с различных цифровых источников.

• Разработку собственных или подбор готовых моделей ML, способных предсказывать и предотвращать сбои в ИТ-системе организации.

• Автоматизацию процессов выявления и устранения инцидентов, с целью сократить время простоя критически важных систем.

• Анализ больших данных и создание отчетов для оперативного принятия технических и управленческих решений на уровне CTO/CEO.

Предполагается, что работа AIOps инженера будет тесно связана с другими ИТ-специалистами в компании. Например, работая в подразделении DevOps, AIOps-инженеры могут помочь лучше автоматизировать процесс разработки и доставки программного обеспечения. Кроме того, AIOps-инженеры совместно с DataOps-инженерами могут работать над оптимизацией процессов обработки и анализа данных, чтобы помочь менеджменту оперативнее решать бизнес-задачи.

Также взаимодействие с инженерами по надежности сайтов (SRE) поможет объединить усилия по улучшению качества обслуживания клиентов и повышению надежности систем на фронтэнде. 

Резюмируя, AIOps инженер — это профессия, которая объединит в себе несколько ролей, что сделает таких специалистов востребованными и хорошо оплачиваемыми в условиях современной цифровой трансформации предприятий и госструктур. 

Курсы по AIOps? Их нет пока

На момент написания статьи ни одна из платформ онлайн-обучения в России не учила на AIOps-инженера. И это довольно важный маркер, что концепция AIOps пока не оформилась в профессию.

ИТ-курсы в РФ, как известно, хорошо “держат нос по ветру” и трендам, т.к. это предприятия масс-маркет обслуживания. Им по большому счету наплевать, станете ли вы разработчиком, QA, DevOps или еще кем-то в ИТ-индустрии. Это просто ответ на спрос на вертикальные социальные лифты, с которыми так плохо в РФ. Работа в ИТ как раз и стала одним из заменителей социальных лифтов, позволяющим скачком поднять свои доходы и поднять уровень жизни (хотя это не всегда и не у всех получается). Вот поэтому в России вокруг ИТ-профессий так много рекламы, хайпа и даже опросов женщин о предпочтениях в партнере (CNews: 72% россиянок хотят выйти замуж за ИТ-специалиста). И только в нашей стране айтишников в льготах приравняли к многодетным семьям, предоставляя льготную ипотеку. 

Но вернемся к AIOps. Если посмотреть на огромный американский маркетплейс учебных курсов Coursera, то мы не найдем там учебных курсов по AIOps. Да, есть страница What Is AIOps? Definition, Examples, and Use Cases, но там предлагается пройти набор смежных курсов, таких как Google IT Support, Google AI Essentials, AI Product Management и Machine Learning. В принципе, вполне можно порекомендовать эти и другие курсы по AI для посетителей Хабра, так как большинство курсов на Coursera бесплатны.

Чем AIOps отличается от других смежных технологий?

Хотя AIOps — это наиболее часто используемый термин, описывающий применение ИИ, машинного обучения и больших данных для улучшения ИТ-процессов, но можно встретить и другие похожие термины.Посмотрим, чем AIOps отличается от похожих по названию технологий.

AIOps vs DevOps

DevOps — это методология, которая автоматизирует рабочие процессы в разработке и поддержке софта. Это автоматизация при выпуске билдов и патчей, настройка процессов непрерывной интеграции и доставки (CI/CD), управление облачной инфраструктурой и обеспечения бесперебойной работы микросервисных приложений. В целом, DevOps-инженер помогает командам разработчиков быстрее вносить изменения в продукт и решать проблемы пользователей.

AIOps же, в свою очередь, помогает использовать ИИ для поддержки уже существующих ИТ-процессов. Команды DevOps могут использовать практики и инструменты AIOps, чтобы улучшить качество кода и сократить время готовности софта для передачи в продакшн.

AIOps vs MLOps

MLOps — это практики, которые помогают разработчикам интегрировать модели машинного обучения в цифровые продукты (в основном в продукты для внешних клиентов). Сюда входят выбор модели, подготовка данных, обучение, оценка и внедрение модели в реальную работу.

AIOps, с другой стороны, использует модели машинного обучения, чтобы извлекать полезную информацию и повышать эффективность работы собственных ИТ-систем компании.

AIOps vs SRE

Инженерия надежности сайтов (SRE) — это подход, при котором команды автоматизируют системные операции и проводят проверки с помощью программных инструментов. Вместо ручного управления, SRE помогает автоматизированно находить и устранять проблемы с видимостью страниц и работой плагинов, индексирования, повышая надежность работы фронтенда и улучшая клиентский опыт.

Цели у AIOps и SRE похожи, но в последнем случае речь идет о более узкой сфере применения. SRE использует данные и прогнозную аналитику, основанную на машинном обучении, чтобы сократить время решения инцидентов с сайтами.

AIOps vs DataOps

DataOps — это набор практик, которые помогают организациям оптимизировать работу с данными для бизнес-аналитики. С помощью DataOps создаются так называемые «конвейеры данных», позволяющие получать, преобразовывать и передавать данные из разных источников для поддержки бизнеса. В качестве примера можно назвать широко разрекламированный в прессе«кредитный конвейер Сбера», который помогает банку оценивать заемщиков в автоматизированном режиме. 

AIOps, в отличие от DataOps, использует данные, предоставленные DataOps, для обнаружения, анализа и решения проблем в собственных ИТ-системах компании.

Заключение

Скорее всего, учиться «с нуля» на AIOps-инженера будет еще труднее, чем на DevOps. Тут также будет море ответственности и очень плотная загрузка в сравнении с теми же разработчиками. Кроме того, работа в AIOps потребует больших вложений, в том числе финансовых, в собственные компетенции и их поддержание на высоком уровне. Возможно, первые полноценные AIOps-инженеры на рынке труда появятся в результате перехода в эту профессию спецов из DevOps и Data Science.
Будем наблюдать на процессом становления профессии AIOps-инженера 🙂.

Добавим каплю рекламы от нашего блога: компания SSP SOFT приглашает на позиции инженеров QA и DevOps, системного аналитика, аналитика данных, разработчиков на Java, JS, React и Python, 1С — см. страницу на hh.ru. Если вашей специальности нет в текущих вакансиях, все равно присылайте резюме, т.к. новые позиции в командах открываются еженедельно (пишите в Telegram или на почту job@ssp-soft.com).

Успехов в постижении профессий и практик DevOps и AIOps!