Intel Distribution for Apache Hadoop: чтобы «большим данным» было комфортно

от автора


Хабражителям, интересующимся «большими данными», наверное, не имеет смысла рассказывать о проекте Apache Hadoop. В последнее время этот фреймворк стал особенным популярным и часто упоминаемым на Хабре – так, совсем недавно специалисты Mail.ru рассказали о миграции своей поисковой машины на Hadoop.
А как сделать хорошую программную систему еще лучше? Например, добавить в нее аппаратные компоненты. Именно таким путем пошла компания Intel, выпустив Intel Distribution for Apache Hadoop – «локализацию» Hadoop под платформу Intel Xeon, снабженную многими полезными функциями для облегчения ее управления и эксплуатации.

Помимо основных приложений Apache Hadoop, как показано на рисунке, пакет Intel включает в себя дополнительный компонент Intel Manager for Hadoop Software, облегчающий развертывание, настройку и слежение за работой новых приложений. Кроме того, модуль Intel Active Tuner for Apache Hadoop выполняет автоматическую настройку конфигурации рабочих показателей системы. В качестве дополнительного компонента доступна библиотека построения графических отчетов Intel Graph Builder for Apache Hadoop.
Оптимизация фреймворка под платформу Intel Xeon позволила добиться двух важных результатов:

  • Внедрение шифрования данных без замедления дисковых операций в файловой системе HDFS за счет аппаратной реализации алгоритма шифрования AES в процессорах Intel Xeon;
  • Существенное повышение общей производительности системы за счет оптимального взаимодействия ПО Hadoop и подсистем ввода-вывода Xeon. По результатам внутреннего тестирования Intel, разработчикам компании удалось добиться пятикратного разгона системы по сравнению с неоптимизированным вариантом.

Intel развивает сразу несколько проектов, связанных с облачными технологиями и сетями хранения данных. Так, сравнительно недавно был выпущен Intel Intelligent Systems Framework – фреймворк систем для сбора, анализа и передачи информации с конечных устройств в центры обработки данных. А вот другой проект находится только в самом начале пути. В конце февраля корпорация Intel и российская компания «Мирантис», вендор платформы OpenStack, подписали соглашение о сотрудничестве в области разработки программного обеспечения. Значит, в будущем мы также увидим оптимизацию OpenStack под процессоры Intel, что, как и в случае с Hadoop, наверняка позволит получить заметный выигрыш.

ссылка на оригинал статьи http://habrahabr.ru/company/intel/blog/172847/


Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *