Вышла Mistral NeMo — многоязычная 12B модель с поддержкой русского и 128К контекстом

Mistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA. Mistral NeMo предлагает большой контекст до 128 тысяч токенов.

Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование*.

Авторы также подготовили таблицу сравнения модели с другими моделями аналогичного уровня (Llama 3 8B и Gemma 2 9B, очевидно, что с большими моделями сравнивать не очень в пользу себе)

Модель тренировалась на многоязычных данных, и, что довольно приятно, графики включают в себя оценки эффективности на русском языке.

Также Mistral NeMo использует новый токенизатор, Tekken, основанный на Tiktoken, который был обучен на более чем 100 языках и более эффективно сжимает текст на естественном языке и исходный код, чем токенизатор SentencePiece, используемый в предыдущих моделях Mistral. В частности, он примерно на 30% эффективнее при сжатии исходного кода, китайского, итальянского, французского, немецкого, испанского и русского языков.

Веса на HuggingFace для базовой модели (base), и для модели, натренированной на исполнение инструкций пользователя (instruct).

* «Коммерческое использование модели разрешено». Автор: ура, подключу себе на сервис для всех желающих по API, наряду с Sonnet и GPT-4.