Из-за нехватки ускорителей Microsoft теперь арендует мощности у Oracle

Microsoft нуждается в большем количестве вычислительных ресурсов для своих ИИ-сервисов, которые пользуются большим спросом. Поэтому IT-гигант заключил долгосрочное соглашение с Oracle, чтобы использовать её ИИ-ускорители в облачных центрах данных. Как пишет The Register, это касается некоторых языковых моделей Microsoft, которые используются в Bing.

Компании объявили о соглашении во вторник. В Microsoft говорят, что одновременное использование Oracle Cloud и Microsoft Azure позволит клиентам получать больше возможностей и ускорить работу с поисковыми сервисами. Сотрудничество связано с тем, что Microsoft испытывает «взрывной рост» своих ИИ-сервисов, а у Oracle есть десятки тысяч ускорителей NVIDIA A100 и H100 для аренды.

С помощью службы Oracle Interconnect можно обеспечить взаимодействие с облаком Microsoft Azure, что дает возможность сервисам, работающим в Azure, взаимодействовать с ресурсами Oracle Cloud Infrastructure (OCI). Такое решение уже применялось раньше, но для внешних клиентов двух компаний. Теперь Microsoft использует Interconnect вместе с Azure Kubernetes Service для создания ИИ-узлов в облаке Oracle для Bing Chat.

Microsoft в феврале интегрировала чат-бота Bing Chat в свой поисковый сервис и свой браузер. Недавно появилась и функция, позволяющая, например, генерировать изображения в ходе диалога. Однако использование больших языковых моделей требует огромного количества ускорителей для их обучения, а для вывода нужны ещё большие вычислительные мощности.

Oracle заявляет, что облачные суперкластеры компании, которые, скорее всего, будет использовать Microsoft, могут масштабироваться до 32 768 ИИ-ускорителей A100 или 16 384 ускорителей H100 с использованием RDMA-сети с ультранизкой задержкой. Кроме того, есть хранилище петабайтного класса. В Microsoft не говорят, сколько именно узлов Oracle им нужно, и, похоже, не собираются делиться этой информацией в будущем.

Конкуренты уже не в первый раз сотрудничают. В сентябре Oracle сообщила о намерении размещать системы с базами данных в ЦОД Azure. Более того, ещё в мае 2023 года Microsoft и Oracle рассматривали возможность аренды ИИ-серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для крупных облачных клиентов. Ранее были слухи, что похожие соглашения Microsoft заключила с CoreWeave и Lambda Labs, к которым NVIDIA более лояльна в вопросах поставки ускорителей. Параллельно Microsoft ищет более экономичные альтернативы языковым моделям OpenAI.