Docker теперь конкурент Ollama?

Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.

Docker Model Runner — фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.

Фактически у нас с вами появилась новая команда:

➜  ~ docker model --help Usage:  docker model COMMAND  Docker Model Runner  Commands:   inspect     Display detailed information on one model   list        List the available models that can be run with the Docker Model Runner   pull        Download a model   rm          Remove a model downloaded from Docker Hub   run         Run a model with the Docker Model Runner   status      Check if the Docker Model Runner is running   version     Show the Docker Model Runner version  Run 'docker model COMMAND --help' for more information on a command. 

Сразу же решил потестить, для простоты эксперимента решил взять уже достаточно известную, но простую (и туповатую) модель smollm2.

➜  ~ docker model pull ai/smollm2

И в целом, здесь все как у всех, есть как и интерактивный чат, так и вызов через cli

➜  ~ docker model run ai/smollm2 "Hi, bro!" ➜  ~ Hello bro! Can I help you?

Но, конечно, все это было бы не так интересно, если бы не было API

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \     -H "Content-Type: application/json" \     -d '{         "model": "ai/smollm2",         "messages": [             {                 "role": "system",                 "content": "You are a helpful assistant."             },             {                 "role": "user",                 "content": "save me from fucking up deadlines"             }         ]     }' 

Будем объективны, пока что функционал безумно сырой, однако, учитывая как ресурсы компании, так и безумное число обкатанных вариантов, думаю, что ребята уже в этом году вполне могут выйти в релиз

P.S. У меня, кстати, в Telegram-канале сейчас идет розыгрыш моего старого Intel NUC на 32 ГБ памяти, на котором я раньше запускал первые домашние модели через Ollama, так что буду рад подписке 🙂