Основные изменения в этой версии следующие
-
Поддержка новой модели Llama 3.3 — 70B. При относительно небольшом размере (может уместиться на одну видеокарту A100/H100, а при большем сжатии даже на A6000 или связку из 4090 с 48 Гб видеопамяти) данная модель сравнима и даже лучше с Llama 3.1 — 405B и догоняет по некоторым показателям GPT-4o
-
Поддержка структурированного вывода по заданной JSON схеме. Теперь вывод можно упорядочить и сразу получить только необходимые значения, которые легко потом парсить и использовать. Обновлены как Python так и JavaScript библиотеки Ollama и добавлены соответствующие эндпоинты в API.
ссылка на оригинал статьи https://habr.com/ru/articles/865280/
Добавить комментарий