Вышла TypeScript-библиотека для распознавания изображений с помощью нейросети Llama Vision

Разработчики представили библиотеку Llama OCR, предназначенную для распознавания изображений с помощью нейросети Llama Vision. Библиотека написана на языке TypeScript и рассчитана на использование в веб-приложениях.

Llama OCR использует бесплатные конечные точки API от Together AI для доступа к нейросети. Это позволяет отправлять запросы в виде изображений и получать распознанные символы в формате Markdown. Также доступны и платные конечные точки для моделей Llama 3.2 11B и Llama 3.2 90B. Они могут пригодиться для масштабных проектов с большим количеством пользователей, в которых важна скорость.

Выбрать модель можно с помощью параметра model. Доступны опции free, Llama-3.2-11B-Vision и Llama-3.2-90B-Vision. По умолчанию выбрана последняя опция. Также разработчики отмечают, что сейчас доступно распознавание текста на изображениях, но в ближайшее время добавят возможность работать с PDF-документами.

Установить библиотек можно с помощью пакетного менеджера npm:

npm i llama-ocr

Пример использования в коде выглядит следующим образом:

import { ocr } from "llama-ocr";  const markdown = await ocr({    filePath: "./trader-joes-receipt.jpg", // path to your image (soon PDF!)    apiKey: process.env.TOGETHER_API_KEY, // Together AI API key  });

Разработчики развернули тестовое веб-приложение, которое распознаёт англоязычный текст на изображениях. Если отправить фотографию с русскоязычным текстом, то ответ всё равно будет на английском.