Intel Distribution for Apache Hadoop: чтобы «большим данным» было комфортно

Хабражителям, интересующимся «большими данными», наверное, не имеет смысла рассказывать о проекте Apache Hadoop. В последнее время этот фреймворк стал особенным популярным и часто упоминаемым на Хабре – так, совсем недавно специалисты Mail.ru рассказали о миграции своей поисковой машины на Hadoop.
А как сделать хорошую программную систему еще лучше? Например, добавить в нее аппаратные компоненты. Именно таким путем пошла компания Intel, выпустив Intel Distribution for Apache Hadoop – «локализацию» Hadoop под платформу Intel Xeon, снабженную многими полезными функциями для облегчения ее управления и эксплуатации.

Помимо основных приложений Apache Hadoop, как показано на рисунке, пакет Intel включает в себя дополнительный компонент Intel Manager for Hadoop Software, облегчающий развертывание, настройку и слежение за работой новых приложений. Кроме того, модуль Intel Active Tuner for Apache Hadoop выполняет автоматическую настройку конфигурации рабочих показателей системы. В качестве дополнительного компонента доступна библиотека построения графических отчетов Intel Graph Builder for Apache Hadoop.
Оптимизация фреймворка под платформу Intel Xeon позволила добиться двух важных результатов:

• Внедрение шифрования данных без замедления дисковых операций в файловой системе HDFS за счет аппаратной реализации алгоритма шифрования AES в процессорах Intel Xeon;
• Существенное повышение общей производительности системы за счет оптимального взаимодействия ПО Hadoop и подсистем ввода-вывода Xeon. По результатам внутреннего тестирования Intel, разработчикам компании удалось добиться пятикратного разгона системы по сравнению с неоптимизированным вариантом.

Intel развивает сразу несколько проектов, связанных с облачными технологиями и сетями хранения данных. Так, сравнительно недавно был выпущен Intel Intelligent Systems Framework – фреймворк систем для сбора, анализа и передачи информации с конечных устройств в центры обработки данных. А вот другой проект находится только в самом начале пути. В конце февраля корпорация Intel и российская компания «Мирантис», вендор платформы OpenStack, подписали соглашение о сотрудничестве в области разработки программного обеспечения. Значит, в будущем мы также увидим оптимизацию OpenStack под процессоры Intel, что, как и в случае с Hadoop, наверняка позволит получить заметный выигрыш.