Энтузиаст и автор YouTube‑канала Build With Binh разработал визитную карточку, на которой локально работает языковая модель. Свой проект он описал на GitHub.
Устройство, получившее название Bouija, отображает ответы модели с помощью светодиодов, напоминающих спиритическую доску Уиджи — мистическую игру, в которой участники якобы общаются с духами с помощью указателя. На устройстве расположены 46 светодиодов, каждому из которых присвоен собственный символ.
В визитку встроен микрокомпьютер на базе чипа ESP32-S3. При этом языковая модель на устройстве не очень большая — она имеет всего 260 тысяч параметров. Мощность визитки обеспечивает генерацию 24 токенов в секунду.
Энтузиаст заявляет, что модель на визитной карточке работает полностью офлайн, не требуя подключения к интернету.
ссылка на оригинал статьи https://habr.com/ru/articles/945392/
Добавить комментарий