Intel подняла производительность своего ML-ускорителя Habana Gaudi2

MLCommons Consortium недавно опубликовал результаты тестов MLPerf Training 3.1, оценивающих производительность различных аппаратных решений в области искусственного интеллекта. В этих тестах Intel продемонстрировала значительное улучшение производительности своего ускорителя Habana Gaudi2. Тем не менее, лидирующую позицию сохраняет ускоритель NVIDIA H100.

Intel Habana Gaudi2 — это передовой ускоритель глубокого обучения, созданный на 7-нм технологическом процессе. Оснащенный 24 ядрами тензорного процессора, двумя двигателями для матричных вычислений, 96 ГБ памяти HBM2E и 48 МБ SRAM, он эффективен в задачах обработки естественного языка и обучения больших языковых моделей. Gaudi2 демонстрирует значительные улучшения производительности по сравнению с первым поколением Gaudi и в два раза превосходит скорость Nvidia A100 80GB как в обучении, так и в выводе. Благодаря своей производительности и доступности, Gaudi2 представляет собой конкурентоспособный и экономически выгодный вариант на рынке ускорителей ИИ.

Тесты проводились на базе платформы Intel Xeon Sapphire Rapids. Было отмечено, что Intel внедрила поддержку FP8-вычислений для некоторых задач, что позволило удвоить производительность по сравнению с предыдущими результатами того же ускорителя.

В результате тестирования на бенчмарке GPT-3, ускоритель Gaudi2 от Intel показал производительность вдвое ниже, чем у NVIDIA H100. Похожая картина наблюдалась и в тесте Stable Diffusion: Gaudi2 использовал формат BF16, а H100 — FP16. Однако в тесте ResNet оба ускорителя показали сопоставимую производительность. В тесте BERT ускоритель H100 от NVIDIA с использованием FP8-вычислений значительно превзошел Gaudi2, который работал в формате BF16.

Intel также сообщает, что с внедрением поддержки FP8, система с 384 ускорителями Gaudi2 может обучить модель GPT-3 за 153,58 минут. С 64 чипами Gaudi2 тест Stable Diffusion может быть завершен за 20,2 минуты в формате BF16. Для тестов BERT и ResNet-50 на восьми ускорителях Gaudi2 (в формате BF16) результаты составили 13,27 и 15,92 минуты соответственно. В заключение отмечается, что ускорители Intel считаются более доступными и дешевыми по сравнению с продуктами NVIDIA.