Путешествие внутрь YADRO. Часть 1: распаковка и тест-драйв TATLIN.FLEX.ONE

Хабр, привет! На связи Алексей Зотов из К2Тех. Не так давно в нашу лабораторию приехало оборудование от российского вендора YADRO: TATLIN.FLEX.ONE и TATLIN.BACKUP. Наша команда протестировала это железо, и теперь я хочу поделиться с вами полученными результатами и впечатлениями об этих продуктах.

Сегодня будет часть 1, в которой мы поговорим о российской системе хранения данных начального уровня — TATLIN.FLEX.ONE. В этой статье я детально разберу ее характеристики, особенности конфигурации и администрирования. По итогам серии тестов производительности рассмотрю возможности системы в различных сценариях использования, а также нюансы работы с веб-интерфейсом и CLI, которые могут быть полезны системным администраторам.

Готовы погрузиться в мир отечественных систем хранения данных? Тогда поехали!

Основные характеристики TATLIN.FLEX

YADRO — один из лидеров на рынке отечественного железа — компания со своими производственными линиями в Подмосковье, широкой продуктовой линейкой, тысячами сотрудников, блогом на Хабре и множеством записей в реестре Минпромторга.

TATLIN.FLEX — не первое железо от YADRO в нашей лаборатории. Их продукция, как правило, оставляет положительное впечатление: характеристики соответствуют заявленным, что уже неплохо на фоне доступных сейчас китайских вендоров и поставщиков. Гибридных систем хранения данных начального уровня на рынке сейчас немного, поэтому серия FLEX быстро нашла свою нишу. Основные конкуренты — СХД на базе RAIDIX или Baum и Aquarius АЭРОДИСК. Среди ушедших с рынка вендоров ближайшие аналоги — HP MSA, Dell PowerVault ME4, Lenovo DE, NetApp E-Series, Infortrend… Ну, вы поняли. У TATLIN.FLEX при этом есть еще и файловый доступ. 

Линейка TATLIN.FLEX представлена тремя версиями СХД: ONE, TWIN и PRO. К нам на тесты попал TATLIN.FLEX.ONE — самое простое решение в серии. Оно предназначено для базовых задач: резервного копирования, хранения резервных копий, организации небольших файловых хранилищ и базовой виртуализации и должно закрывать потребности небольших предприятий. Короче, рабочая лошадка.

FLEX.ONE оснащена одним контроллером, поддерживающим до 12 жестких дисков HDD SAS с частотой вращения 10 000 оборотов в минуту и емкостью 2,4 ТБ каждый. Альтернативно можно использовать диски HDD NL-SAS объемом до 16 ТБ. Можно добавить дисковый модуль расширения на 12 накопителей LFF, а также до двух твердотельных накопителей SAS SSD в форм-факторе SFF для организации кэширования. 

Коммуникационные возможности FLEX.ONE обеспечиваются тремя встроенными портами с пропускной способностью 1 Гбит/с. Система также поддерживает установку до двух карт расширения — по два порта Ethernet со скоростью 10/25 Гбит/с.

Функциональность TATLIN.FLEX.ONE

• Защита от отказа до трех накопителей (в зависимости от схемы). Реализовано фоновое сканирование для проверки целостности и защита от скрытых повреждений данных.

• Для мониторинга предусмотрены уведомления о событиях через SNMP и SMTP. 

• Доступ к данным возможен по блочным протоколам FC и iSCSI, а также файловым протоколам NFS, SMB и FTP.

• Файловый доступ осуществляется через общие папки SMB и NFS. Для SMB можно использовать локальные учетные записи или интеграцию с Active Directory, а также настроить регламентное хранение (WORM) и квотирование. 

• NFS поддерживает локальных пользователей и LDAP. Также есть доступ по FTP.

• Есть интеграция с ИБП. В случае сбоя питания TATLIN.FLEX получает сигнал от ИБП и корректно завершает работу без риска для данных в RAM-cache.

• Система имеет графический интерфейс на русском и английском языках, а также функциональный командный интерфейс (CLI). В интерфейсе видно состояние всех компонентов, а также доступен шаблон для интеграции с системой мониторинга Zabbix.

Начало тестирования

Первую версию СХД этой линейки выпустили в июне 2023. Компания YADRO планирует в ближайшее время выпустить вторую версию – о тестировании этого продукта позже тоже обязательно расскажем. А сейчас подробнее о тестировании первой версии TATLIN.FLEX.ONE.

Мы должны хорошо понимать, что предлагаем нашим клиентам, поэтому сразу раздобыли новую базовую модель, установили в лаборатории и на протяжении месяца непрерывно гоняли на ней тестовые сценарии.

TATLIN.FLEX.ONE попала на тестирование в нашу лабораторию в следующей конфигурации:

• Контроллер TATLIN.FLEX.ONE с двумя процессорами (12-ядерные Intel Xeon Scalable) и 128 ГБ оперативной памяти DIMM DDR4;

• Двенадцать жестких дисков объемом 10 ТБ, тип SAS 7.2K;

• Два твердотельных накопителя объемом 1,92 ТБ, тип SAS;

• Одна карта ввода-вывода Ethernet с двумя портами 10/25 Гб/с и поддержкой 25GBase-SR.

В комплектацию входят стандартные серверные рельсы полного выдвижения под телекоммуникационную стойку, крепеж и пара кабелей C13-Schuko.

Аппаратная платформа TATLIN.FLEX.ONE — стандартный контроллер хранения в формфакторе 2U. Корпус выполнен качественно, дефектов не замечено. Каких-либо проблем с его установкой в стойку не возникло, комплектные салазки крепкие и фиксируются в правильном положении. 

В случае наличия в сети DHCP-сервера при первом запуске система получает IP-адрес автоматически. Если DHCP-сервер отсутствует, то необходимо настроить статический IP-адрес веб-интерфейса через CLI. Во время нашего тестирования DHCP был отключен, для настройки менеджмента пришлось воспользоваться CLI.

Индикация на передней панели СХД:

1. Кнопка питания.

2. Кнопка идентификации.

3. Кнопка перезагрузки системы (кратковременное нажатие).

4. Индикатор активности накопителей.

5. Индикатор состояния контроллера хранения.

6. Индикатор состояния порта MGMT (BMC).

7. Индикатор состояния порта LAN.

На этапе установки выяснилось, что микрокод нашего массива устарел. У пользователя нет возможности самостоятельно провести обновление, но вендор обеспечивает оперативную поддержку. Через день по нашей заявке прислали инженера, который бесплатно и без проблем обновил массив.

Заявлена корректная работа со следующими операционными системами и гипервизорами:

• Ubuntu 18.04 / 20.04 / 22.04

• Windows Server 2016 / 2019 / 2022

• RHEL 7.x / 8.х

• Astra Linux 1.7

• Альт Сервер 10

• РЕД ОС 7.3

• VMware ESXi Server 7.0

• zVirt 4.0

На практике этот список можно расширить за счет других Linux-дистрибутивов. 

Все необходимые для работы с СХД лицензии уже предустановлены вендором. Пользователю не нужно доплачивать и дополнительно их активировать. Это значительное преимущество по сравнению с другими продуктами на основе Raidix. 

Административные тесты TATLIN.FLEX.ONE 

TATLIN.FLEX работает под управлением оптимизированной версии Raidix. Что это значит: продукты работают без проблем совместимости, характерных для некоторых других производителей, заявленные лимиты продуктов выше, доступны новые дополнительные функциональные возможности, продукт тиражируемый и обладает высокими характеристиками по производительности и надежности. В пользовательском интерфейсе мы не обнаружили багов и ошибок.

Интерфейс TATLIN.FLEX почти идентичен стандартному Raidix. Отличается только логотипом и цветовыми акцентами, правда, выбор последних показался нам неудачным. Различить состояние тумблеров в интерфейсе с первого взгляда трудно.

 Дашборд интерфейса управления СХД показывает главное: активные тома, диски, RAID-группы и LUN. В разделе SparePools видны резервные диски — сколько их, какого объема и к каким RAID-группам относятся. 

Есть возможность посмотреть глубокую статистику, в том числе в реальном времени, по интересующим объектам (RAID-группы, LUNs, алиасы инициаторов). Статистика отображается в разделе «Мониторинг» → «Производительность». Можно настроить графическое представление по скорости передачи данных, IOPS, времени отклика, объему передаваемых данных.

Вендор предоставляет справочник команд CLI для управления системой через SSH и подробную русскоязычную документацию с пояснениями по всем функциям UI.

Мы протестировали управление СХД через SSH. Все работает, информация отображается верно. Одно замечание: команда rdcli fc target show не показывает статус порта (up или down).

Mib-файл, содержащий информацию обо всех объектах устройства, можно выгрузить после настройки SNMP. TATLIN.FLEX 5.2.4 поддерживает три версии протокола SNMP — v.1, v.2, v.3.

Для каждого компонента вы можете выбрать тип уведомлений: информация (Info), предупреждения (Warnings) и ошибки (Errors). По запросу вендор присылает подробное руководство по мониторингу.

По части администрирования TATLIN.FLEX.ONE имеет два значимых недостатка. Во-первых, система не поддерживает аутентификацию через LDAP. Во-вторых, в ней нет функции call-home.

Конфигурирование дисковой подсистемы

Мы тестировали TATLIN.FLEX.ONE в одноконтроллерной конфигурации, которая не обеспечивает отказоустойчивость, но зато стоит дешевле, чем TATLIN.FLEX.TWIN.

Наша модель СХД поддерживает как стандартные уровни RAID (0, 1, 5, 6, 10, 50, 60), так и более сложные конфигурации (RAID 7.3, N+M, 70). Они отличаются большим количеством контрольных сумм на страйп. RAID 7.3 использует тройное распределение четности, а RAID N+M позволяет администратору самостоятельно выбрать количество дисков для хранения контрольных сумм.

В TATLIN.FLEX.ONE 5.2.4 доступны два типа RAID: Generic и ERA. У каждого свое назначение. Generic рекомендован для RAID-групп на HDD, а алгоритмы ERA используют преимущества SSD, повышая производительность RAID на SSD.

Для Generic RAID доступно SSD-кэширование. SSD-кэш позволяет значительно увеличить скорость доступа к наиболее часто используемым («горячим») данным на жестких дисках при случайном характере нагрузки. В TATLIN.FLEX в качестве SSD-кэша используется специально настроенный LUN. После настройки этот кэширующий LUN можно подключить к другим LUN (основным), как обычный SSD-кэш. В результате тестов выявлено, что SSD-кэширование работает на чтение. 

Основной элемент работы с NAS в TATLIN.FLEX — это общие папки (shares), которые настраиваются для доступа пользователей и групп. Каждой директории можно присвоить доступ только по одному NAS-протоколу. При удалении общей папки может временно пропасть доступ к другим папкам из-за перезапуска NAS-сервисов.

При настройке подсистемы сначала создается LUN для общих папок. Во время создания папки выбирается файловая система — XFS или EXT4, а затем определяется протокол для доступа.

У каждой файловой системы свои особенности. Например, для форматирования LUN в EXT4 его размер не должен превышать 260096 GB. В XFS необходимо оставлять минимум 5% свободного места, иначе файловая система может отключиться.

Важно отметить, что большинство систем уже давно используют пулы для организации дискового пространства. TATLIN.FLEX до сих пор работает на классических RAID-группах. В результате СХД, например, не поддерживает создание снапшотов. Нет поддержки thin LUN, синхронной и асинхронной репликации с добавлением второго массива для создания пары.

Функциональность host-group отсутствует, но можно добавить несколько IQN-хостов в алиасы инициаторов и к каждому алиасу подключить новый LUN.

Тестирование производительности

Тестирование выполнялось с помощью одного хоста, ОС RedHat 7.9 с установленным комплексом Vdbench, стимулирующим синтетическую нагрузку на массив. Дисковая подсистема сконфигурирована в RAID 5; использовались 12 дисков 10ТБ NLSAS 7.2K.

Проверялись 4 профиля нагрузки, типичные для enterprise-оборудования:

1. 0% чтение, 100% запись, блок 1МБ, последовательная запись — профиль для «прогрева» дисков;

2. 70% чтение, 30% запись, блок 1МБ, последовательная запись — т.е. смешанная нагрузка с уклоном в чтение (max_nlsas, nlsas);

3. 50% чтение, 50% запись, блок 16КБ, последовательная запись — симуляция ВМ фермы (50_nlsas);

4. 70% чтение, 30% запись, блок 8КБ, случайная запись — транзакционная система, обработка транзакций в реальном времени (OLTP_8).

Перед началом теста в течение 3 часов диски «прогревались», и лишь затем мы начинали запись показателей для одного из профилей в течение еще 3 часов.

Важно понимать, что TATLIN.FLEX.ONE поставляется в довольно скромной конфигурации. Количество дисков небольшое, и они довольно медленные. Тем не менее, в случае последовательной записи система показала хорошие результаты (тесты 1, 2, 3). Однако при выполнении случайной записи (четвертый тест) производительность заметно упала — до 174 IOPS. Время отклика на запись составило 65 миллисекунд вместо 26 мс в первом и втором тестах.

При нагрузке 70% на чтение и 30% на запись с размером блока 1 МБ массив СХД показал достойные показатели пропускной способности — до 950 МБ/с при средней задержке около 25 мс. Нагрузка в этом тесте была переменной и непостоянной, с периодическими просадками до 300 МБ/с. Эти просадки, вероятно, связаны с необходимостью разбивать большие блоки на более мелкие для размещения по стрипам и последующей записи на диски. В итоге средние значения пропускной способности составили около 600–620 МБ/с.

Наилучшие результаты были достигнуты при нагрузке 50% на чтение и 50% на запись с размером блока 16 КБ. В этом случае были зафиксированы низкие задержки до 1 мс и хорошая пропускная способность около 420 МБ/с, которая стабильно сохранялась на протяжении всего теста с небольшими отклонениями. Также были получены высокие IOPS — в среднем около 27 000 единиц.

Итоги

TATLIN.FLEX лучше всего подходит для последовательной нагрузки. При этом не имеет значения, какого размера блок — большого или маленького. В обоих случаях система демонстрирует хорошие результаты и нормальное время отклика. Однако при случайной нагрузке (кроме записи) производительность системы резко падает. Отчасти это связано с тем, что в тестируемом образце используются диски NL-SAS.

У этой модели СХД много возможностей для развития. Организация дискового пространства в TATLIN.FLEX основана на традиционных RAID без какой-либо программной прослойки и оптимизации, которые предлагаются другими вендорами. Также отсутствует функционал тонких LUN — можно использовать только толстые LUN. В системе нет опции «зануления» дисков, пулов, репликации и снапшотов. Все это хотелось бы увидеть в следующих версиях системы.

В то же время уже сейчас TATLIN.FLEX.ONE предлагает полноценный функционал Raidix, а также приятное quality of service, доступную поддержку за относительно небольшую стоимость.

На наш взгляд, эта система лучше всего подходит для стабильных задач, таких как резервное копирование, видеонаблюдение и хранение больших медиафайлов. Однако для нагруженных баз данных с частыми случайными обращениями TATLIN.FLEX.ONE применять не рекомендуется. Для производительных задач и нагруженных БД лучше подойдут старшие модели линейки, такие как TWIN и PRO.

FLEX.ONE обладает достаточным функционалом и хорошим качеством для entry-level системы хранения данных. Мы можем рекомендовать ее для хранения архивов некритичных данных, где основная часть запросов поступает на чтение.

Если вас интересуют какие-либо детали, пишите в комментариях или на электронную почту alzotov@k2.tech

И следите за новыми статьями: в ближайшее время мы расскажем о тестировании TATLIN.BACKUP. Эта система хранения данных резервных копий кое в чем смогла превзойти зарубежные аналоги.