Дешевые облака, или зачем настраивать FinOps

Привет, Хабр! 

Зима пришла стремительно, и принесла с собой много новых идей, ключевых решений, а самое главное, пересмотр уже устоявшихся концепций и парадигм. Одной из таких идей на первый план вышла FinOps (Financial Operations), практика по управлению расходами, применительно к облачным технологиям. Этот подход ставит целью проведение глубокого анализа облачных расходов и работу с реализацией продуктовых задач компаний. Он помогает видеть комплексно процессы компании и объединять усилия команд, для оптимизации операционных процессов. Зачем это нужно? Цифры подскажут: 

• 60% компаний отмечают, что их расходы на облачные технологии превышают первоначальные ожидания; 80% не имеют четкого понимания, кто отвечает за эти затраты и как они формируются; в 50% случаев проблемы с оценкой ценности внедрения облачных технологий не позволяют достичь окупаемости инвестиций в облако. CloudZero, PWC. 

• К 2025 году на облачные технологии будет приходиться 65% всех расходов на корпоративные приложения; сейчас более трети IT-бюджетов на облачные технологии расходуются нерационально. Flexera, Gartner

В последнее время многие компании начали активно переносить часть своих решений и данных в облако, чтобы минимизировать расходы на ключевые части в разработке и хранении данных. Как раз FinOps (FinOpsFoundation) предлагает не только учет финансовых вложений, а целое продуктовое мышление или даже корпоративное видение. Этот подход зарекомендовал себя, особенно для компаний, занимающихся ИТ-разработкой в широком смысле. 

Концепт

FinOps помогает объединять команды финансов, DevOps и IT. И помогает бизнесу объединить усилия для сокращения затрат на производство. 

Выделяют 3 основных стадии в жизненном цикле FinOps: 

Inform (Информирование): предоставляет прозрачную и понятную информацию о расходах и использовании облачных ресурсов всем заинтересованным сторонам — от разработчиков до финансовых команд: 

• Прозрачность затрат: дает четкую видимость расходов на облако, что помогает компаниям понимать, как и где используются их ресурсы, а также управлять бюджетом, прогнозировать расходы и строить грамотную аналитику.

• Модели ценообразования: позволяет изучать разные модели ценообразования (поминутную, помесячную, по запросу) для выбора наиболее выгодных условий. Включена возможность использования зарезервированных ресурсов для снижения затрат в долгосрочных проектах. 

Optimize (Оптимизация): охватывает всю сферу поиска возможностей для оптимизации: автоматизацию, оптимальные конфигурации и выбор наилучших вариантов для развертывания;

• Оптимизация расходов: позволяет снизить затраты на облако без снижения производительности с помощью автоматизации, отключения неиспользуемых ресурсов, оптимизации выбора облачных сервисов и поиска более выгодных предложений. Возможность увеличить бизнес-ценность облачных инвестиций в on-premise и модели pay-as-you-go. 

• Гибридные и мультиоблачные стратегии: открывает управление затратами в условиях использования нескольких облаков и локальных решений. Проводится оценка, какие облачные сервисы лучше всего подходят для конкретных задач на основе стоимости и функциональности.

Operate (Операционная деятельность): фокусируется на постоянном управлении и мониторинге облачных ресурсов, чтобы поддерживать оптимальные рабочие процессы и обеспечить эффективное функционирование систем. Операционная деятельность требует слаженной работы всех команд, чтобы гарантировать непрерывную оптимизацию и адаптацию к изменениям в облачной инфраструктуре. 

• Непрерывное улучшение: обеспечивает регулярный анализ и пересмотр процессов для выявления ресурсов, подходящих под критерии оптимизации. Включает сбор отзывов от пользователей для улучшения управления затратами и повышения удовлетворенности от внедренного процесса.

• Персональная ответственность за расходы: командам и отдельным сотрудникам предлагается брать ответственность за затраты на облачные услуги, которые они используют в своей работе, тем самым подталкивая их участвовать в бизнес-процессах. Некоторые компании внедряют мотивационные программы для команд, которые успешно оптимизируют свои облачные расходы.

• Ускорение инноваций и централизованное управление: за счет того, что бизнес может более гибко и эффективно управлять облачными затратами, команды могут быстрее экспериментировать с новыми технологиями и ресурсами, что способствует ускорению внедрения инноваций и мониторингу всех процессов в компании одномоментно.

Видно, что распространение технологии FinOps движется семимильными шагами. Но оно сопряжено со множеством сложностей. Одной из первых является ставка на общий бюджет и как проводить его приоритизацию, то есть на какие проекты в первую очередь выделять средства. Вкупе с этим, владельцы ресурсов не всегда четко определены, и, более того, встает вопрос о ранжировании бизнес-задач. 

Если, например, выделить классические проблемы использования облака, то тут все более понятно и прозаично: переиспользование ресурсов, забытые и неиспользуемые ресурсы, отсутствие предоплат. 

Как понять, что уже пора делать шаг в FinOps?

После изучения ключевых аспектов практики FinOps хочется понять, когда пора начинать ее внедрение? Рассмотрим несколько ярких маркеров для старта:

• Рост облачных затрат: часто владельцы инфраструктуры, отвечающие за финансовую сторону облака, начинают замечать, что счета за облачные вычисления начинают расти. Иногда этот рост может быть не в арифметической, а в геометрической прогрессии. Первый маркер, который должен подтолкнуть к внедрению FinOps — это бесконтрольно увеличивающиеся счета на облако. Прозрачность и контроль затрат — важные приоритеты на пути оптимизации. 

• Непрозрачность в затратах: если вы понимаете, что испытываете сложности в распределении затрат между командами, проектами или бизнес-юнитами, то самое время сделать первый шаг в FinOps. Практики FinOps помогают корректно распределить ответственность за эти ресурсы среди команд, повышая прозрачность облачных расходов.

• Отсутствие плана по затратам и реальных «исторических данных»: планирование будущих расходов чаще всего основано на статистике потребления за предыдущие периоды. Если ваши траты планируются с помощью таро, интуиции или хрустального шара, стоит обратить внимание на внедрение FinOps-платформ. Они не только предскажут потребление на основе анализа текущих затрат, но и соберут исторические данные по потреблению облачных ресурсов, облегчая в том числе составление отчетности.

• Несовпадение план-факта по затратам: если планировать закупки облачных ресурсов у вас получается, но часто приходится докупать ресурсы и выходить за «план расходов», стоит задуматься о  внедрении FinOps-практик.

• Наличие брошенных ресурсов: разбираться в многочисленных ресурсах, иногда неэффективных, бывает сложно. FinOps-практики нацелены на снижение риска возникновения простаивающих ресурсов, «неотслеживаемых» расходов, устаревших снимков, забытых и зомби-ВМ. Если вы замечали в своей инфраструктуре подобное, то это также свидетельствует о надобности внедрить FinOps-фреймворк.

Внедрение

Многие крупные компании уже перестраивают процессы внутри себя на новые «рельсы». В западном сегменте это такие «киты» как Adobe, Pinterest, AirBnb. Процессы в них направлены в основном на поддержку клиентов и масштабирование бизнеса. Несколько важных игроков и их ключевые нововведения:

1. Spotify использует FinOps для управления и оптимизации своих облачных затрат при обеспечении потоковой передачи музыки для миллионов пользователей по всему миру. Основной вызов — поддержка масштабируемой инфраструктуры для потокового аудио и управление затратами на вычисления и хранение данных. Как показала практика, после внедрения FinOps и улучшения процессов управления ресурсами удалось снизить затраты на 10–25%, включая кластеры Kubernetes и обработку данных. Среди замеченных технологий у данной компании значились Google Cloud Platform (GCP), Kubernetes, Prometheus, Grafana, BigQuery

2. Медиакомпания The New York Times, использующая цифровые платформы, с помощью FinOps оптимизировала применение облачных ресурсов при доставке контента пользователям и работе новостных лент. Компания смогла сократить облачные расходы до 30% за счет эффективного использования ресурсов, таких как зарезервированные инстансы и спотовые инстансы для вычислений. Технологии:  Amazon Web Services (AWS), AWS Cost Explorer, AWS Budgets, Terraform, Datadog. 

3. Nike использовала FinOps для управления затратами на облачные платформы при масштабировании своей глобальной электронной коммерции. Чтобы обеспечить быстрый рост бизнеса в сети компани нужно было автоматизировать и повысить прозрачность затрат на облачные ресурсы. Nike удалось сократить расходы на ресурсы на 20%, увеличить прозрачность затрат на 30%, провести автоматизацию процессов на 40% и сократить время на проведение бюджетирования на 25%. Технологии: Microsoft Azure, Azure Cost Management and Billing, Power BI, Azure DevOps.

4. Корпорация GE внедрила FinOps для управления своими масштабными облачными затратами в различных подразделениях. С переходом на облачные технологии компания  столкнулась с необходимостью контролировать расходы и повышать эффективность использования ресурсов между распределенными командами. Технологии: Amazon Web Services (AWS), AWS Trusted Advisor, CloudHealth by VMware, Splunk.

Среди российских примеров есть кейс ЛеманаПро. Компания провела масштабное планирование согласно всем корпоративным затратам и учет всех облачных финансовых показателей. Специалисты оптимизировали процесс учета времени для некоторых особо крупных частей проекта, таких как solution architecture. Поняли, как распределить финансовую нагрузку между отделами, причем дополнительно привлекли отдел информационной безопасности для решения ключевых моментов с ИБ. Интересным решением было то, что компания подошла комплексно к внедрению FinOps и выделила три ключевых аспекта: Crawl, Walk, Run – при этом команда не стала масштабироваться сразу, а выкатила небольшое MVP и провела CustDev среди своих внутренних пользователей. Это помогло собрать обратную связь и понять, в каком направлении двигаться дальше. Вдобавок, разработчики продумали общий UX/UI для более плавного внедрения технологии и дополнительной заботы о пользователях. Чем кончилось внедрение FinOps-практик? Экономией практически в 30% от облачного счета. 

Можно выделить  кейс от платформы «Клаудмастер» (входит в экосистему Инферит), которая оптимизировала затраты на облачную инфраструктуру для Эсборд (аналог Miro). При этом, как было показано, сбор данных на первичном входе был осуществлен всего за час в первый день работы, и в этот же день были даны рекомендации по оптимизации. По итогам всех проведенных работ, которые длились порядка двух недель, затраты удалось сократить на 29%. Здесь получилось выявить проблемные места в работе виртуальных машин и обнаружить критические аномалии.

«Клаудмастер» — российская FinOps-платформа полного цикла для управления облачными затратами. Позволяет автоматизировать работу команд и оптимизировать расходы на ИТ-инфраструктуру в несколько кликов. В арсенале платформы такая функциональность, как: 

• Рекомендации по оптимизации ресурсов: платформа помогает оптимизировать до 30% ресурсов без снижения производительности (Зомби-ВМ, недоиспользуемые ресурсы, резервируемое потребление и многое другое).

• Контроль бюджетов: Аллокация затрат и создание отчетов по проектам, командам, подразделениям и бизнес-направлениям.

• Мониторинг использования ресурсов и выявление аномалий: Отслеживание и контроль использования ваших облачных ресурсов в режиме реального времени.

• Поиск забытых объектов: Автоматический поиск забытых виртуальных машин, дисков, образов и других объектов.

Кроме того, есть много кейсов (раз, два, три) где при проведении аудита выяснилось, что можно провести выключение репликаций на Dev-окружениях, мигрировать на новые типы инстансов, удалить неиспользуемые ресурсы, такие как EC2, RDS, LB, EIP. В ходе данных процедур удается оптимизировать backlog, это позволило провести анализ приоритетов задач и сфокусироваться на основных бизнес-задачах. Также это позволило установить отношения с Dev-командами. Снижение конверсии (эффективность использования облачных затрат) по расходам составило порядка 40% от общей стоимости.

Внедрение FinOps в крупных компаниях становится ключевым фактором для оптимизации финансовых процессов — оно позволяет обеспечить прозрачность затрат и лучше  понять расходы на облачные ресурсы. Есть два основных пути: проектировать собственную архитектуру или использовать готовые решения. Если у компании нет всеобъемлющего понимания по работе своих операционных расходов на облако, то лучше выбрать готовое решение.  Это позволит  организации прогнозировать будущие затраты, усилит  управление ресурсами и найти оптимальный баланс между затратами и производительностью.