Mistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA. Mistral NeMo предлагает большой контекст до 128 тысяч токенов.
Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование*.
Авторы также подготовили таблицу сравнения модели с другими моделями аналогичного уровня (Llama 3 8B и Gemma 2 9B, очевидно, что с большими моделями сравнивать не очень в пользу себе)
![](https://habrastorage.org/getpro/habr/upload_files/5e2/68c/827/5e268c827a5057b2b72bf73e2b36c998.png)
Модель тренировалась на многоязычных данных, и, что довольно приятно, графики включают в себя оценки эффективности на русском языке.
![Русский в наличии Русский в наличии](https://habrastorage.org/getpro/habr/upload_files/b63/20c/cd9/b6320ccd90106e0e247117821002a858.png)
Также Mistral NeMo использует новый токенизатор, Tekken, основанный на Tiktoken, который был обучен на более чем 100 языках и более эффективно сжимает текст на естественном языке и исходный код, чем токенизатор SentencePiece, используемый в предыдущих моделях Mistral. В частности, он примерно на 30% эффективнее при сжатии исходного кода, китайского, итальянского, французского, немецкого, испанского и русского языков.
Веса на HuggingFace для базовой модели (base), и для модели, натренированной на исполнение инструкций пользователя (instruct).
* «Коммерческое использование модели разрешено». Автор: ура, подключу себе на сервис для всех желающих по API, наряду с Sonnet и GPT-4.
ссылка на оригинал статьи https://habr.com/ru/articles/829822/
Добавить комментарий