Переходим на Pure Storage: наше новое хранилище

Недавно мы перенесли наши высоконагруженные базы данных — централизованные офисные сервисы, почту, виртуальные рабочие станции, а также торговые системы и сайты mvideo.ru и eldorado.ru — на флэш-массивы Pure Storage. И сегодня расскажем, почему мы решили это сделать и как переходили на новые.

Предыстория

После объединения «М.Видео» и «Эльдорадо» Группа приняла долгосрочную программу ONE RETAIL, в рамках которой активно развивает диджитал-платформы и автоматизирует ИТ-сервисы. Мы перешли к гибридной инфраструктуре из собственных мощностей и облачных сред. Однако дальнейшему повышению эффективности систем мешал большой парк оборудования различных производителей, который образовался в результате слияния.

Поэтому мы пришли к идее обновления части хранилищ. Проанализировав решения от разных производителей, мы остановились на Pure Storage. Но прежде, чем принимать окончательное решение, нужно было протестировать оборудование на наших данных.

Тестирование

Системы, участвовавшие в тестировании, размещались на СХД нескольких вендоров, в которых использовались как классические жёсткие диски, так и твердотельные. После согласования программы тестирования и установки оборудования Pure Storage в наш ЦОД, мы начали проводить миграцию.

Одним из первых мы мигрировали сервис виртуальных рабочих столов. В результате конечные пользователи — не сисадмины —отметили значительный прирост в производительности: гораздо быстрее открывались PDF-файлы, текстовые документы и таблицы. После возвращения сервиса на исходное СХД скорость отклика упала. То есть благодаря переносу в хранилище с All-Flash-архитектурой заметно поднялась производительность достаточно критичной системы. Мы не делали точных измерений, но по ощущениям прирост скорости составил 50-70 %. Для некоторых приложений время отклика уменьшилось в разы.

Затем мы протестировали компрессию и дедупликацию. Одно из отличий Pure Storage в том, что в их СХД дедупликация и компрессия работают на глобальном уровне, на лету, поэтому не нужно распределять данные по отдельным томам хранения. Кроме того, СХД умеет со временем дополнительно сжимать информацию, используя в отложенном режиме более продвинутые алгоритмы компрессии и дедупликации. И наконец, алгоритмы компрессии и дедупликации в Pure Storage работают c очень маленькими блоками данных, начиная от 512 байт — длина блока может меняться, подстраиваясь под разные типы данных.

Благодаря этим ухищрениям, объём баз данных MySQL и Oracle (выбранных для тестирования) снизился в 3,1 раза по сравнению с исходной СХД.

Внедрение

Нас интересовало повышение не только производительности СХД, но и надежности хранения. Поэтому следующим этапом мы решили внедрить распределённый кластер по схеме active-active — то есть распределить наши системы на два ЦОДа. Каждая СХД Pure Storage уже включает в себя необходимый набор инструментов для синхронной и асинхронной репликации, в том числе для создания географически распределенных active-active кластеров.

Для начала мы воспользовались функцией синхронной репликации, что значительно ускорило первичную миграцию данных. Сейчас мы выбираем сервисы, которые будут работать в режиме непрерывной синхронизации, чтобы обеспечить высокую отказоустойчивость в случае сбоев: при необходимости выполняется моментальное переключение со сбойной СХД на рабочую. Для конечных пользователей это происходит незаметно. Учитывая, что по умолчанию Pure Storage обеспечивает надежность на уровне 99,9999 (31,5 секунды простоя в год), даже больше – на текущий момент согласно статистике, которую производитель собирает из своего сервисного облака, массивы Pure близятся к 6-ти девяткам (а это всего 3 секунды простоя в год), с помощью постоянной синхронизации Active Cluster аптайм Pure становится практически 100%-ным. То есть даже если откажет весь ЦОД, пользователи будут спокойно работать, словно ничего не произошло.

Управление

Одновременно с внедрением первых единиц оборудования Pure Storage мы начали использовать фирменный облачный сервис мониторинга и управления — Pure1. Он предоставляет единую панель управления, на которой отображаются состояния всех СХД и прогнозируемые состояния на год вперёд. То есть нам не нужно просчитывать, когда перестанет хватать производительности или ёмкости — система предупредит заранее. Это сильно упрощает процесс будущих расширений и апгрейдов.

Также в Pure1 есть инструмент под названием VM Analytics. Поскольку все наши сервисы и приложения полностью виртуализированы на базе решения VMware, мы можем подключиться к кластеру виртуализации VMware и поменять топологию всей инфраструктуры и отобразить в Pure1. Будут отображаться все промежуточные точки соприкосновения: виртуальные машины, томы, СХД, отдельные взаимосвязи. И в случае возникновения какой-либо проблемы мы без помощи вендора увидим, где и что произошло.

Плотность размещения

Мы мигрировали данные с 6 видов СХД разных производителей на СХД Pure Storage двух моделей. Старые устройства занимали несколько стоек. А сейчас оборудование с теми же данными — около 1,5 петабайт — занимает треть одной стойки, 18 юнитов, при этом остаётся запас дисковой ёмкости в районе 15 – 20 %. Энергопотребление и тепловыделение снизилось в разы, что даёт экономию и на системе охлаждения.

Другие особенности и возможности

В основе техподдержки Pure Storage лежит движок с «искусственным интеллектом», который умеет прогнозировать возникновение потенциальных проблем.

Кроме традиционных блочных сервисов, СХД Pure Storage позволяют за счет внутренней программно-определяемой модульной архитектуры развёртывать и файловые сервисы. Так мы и сделали: на х50 и х70 создали Windows File Servers и начали миграцию файловых ресурсов хранения.

Отдельно хочется упомянуть, что вне зависимости от того, какой программный компонент используется в Pure Storage, не нужно задумываться о будущем лицензировании — лицензия подразумевает автоматическое добавление всех будущих новых функций. Например, с момента первичного внедрения появилась функция выгрузки моментальных снимков по протоколу NFS на внешнюю СХД любого производителя, либо по протоколу S3 во внешнее облачное хранилище.
Также одним из преимуществ продукции Pure Storage является простота управления.

Сейчас мы ждём, когда Pure Storage доведут до коммерческой эксплуатации функцию создания моментальных снимков. С их помощью мы сможем создавать резервные копии: так будет гораздо быстрее и разгрузит серверную инфраструктуру. При интеграции снэпшотов с системой резервного копирования получится законченное высокопроизводительное решение. То есть на откуп системе хранения будут отданы функции, наиболее требовательные к ресурсам. Такие аппаратные моментальные снимки не снижают производительность системы, в отличие от снэпшотов, создаваемых на уровне приложения или виртуализации.