Разработчик Асгар Горбани (Asghar Ghorbani) выпустил PocketPal AI — приложения для локального запуска компактных языковых моделей на смартфоне. Приложение доступно для iOS и Android.
В PocketPal AI пользователи могут загрузить одну из моделей, ссылки на которых добавил разработчик. Сейчас доступны Danube, Microsoft Phi, Google Gemma 2, Qwen и LLaMA. Также можно скачать и запустить любую другую языковую модель в формате GGUF. Для этого есть опция Add Local Model.
Языковые модели в PocketPal AI работают в режиме чат-бота. В настройках пользователи могут управлять параметрами инференса и следить за производительностью. Также есть опция, которая автоматически выгружает модель из памяти смартфона, когда приложение не используется.
Код приложения опубликован на GitHub, а скачать его можно из Google Play или App Store (1, 2). Приложение бесплатное.
ссылка на оригинал статьи https://habr.com/ru/articles/854178/
Добавить комментарий