ML-инженер Нико Мартин (Nico Martin) из Hugging Face выпустил расширение для Chrome, с помощью которого в браузере можно запустить локального AI-ассистента. Проект построен на базе Transformers.js и моделей Gemma 4 E2B и all-MiniLM-L6-v2.
Расширение запускается прямо в браузере с помощью WebGPU. Во время первого запуска система загружает модель, а после использует её локально. Ассистент может получать список открытых вкладок, переключаться между ними, открывать новые и закрывать ненужные. Вместе с этим есть функция семантического поиска по истории, которая позволяет пользователю указывать не конкретные ключевые слова для поиска, а примерные темы. Также ассистент подсвечивает нужные элементы на страницах.
В блоге Hugging Face опубликовали технический разбор расширения, в котором рассказали, как плагин работает внутри Chrome и не конфликтует с правилами Manifest V3. Так как у браузерных расширений есть ограничения по фоновым процессам и доступу к веб-страницам.
Автор проекта разделил архитектуру на три модуля: для управления логикой ассистента, интерфейса чата и работы с открытыми страницами. Благодаря этому интерфейс не зависает при обработке запроса, а модель не приходится загружать для каждой вкладки.
Расширение использует сразу две модели: Gemma 4 E2B и all-MiniLM-L6-v2. Первая отвечает за рассуждения, выбор действий и генерацию ответов, а вторая — за эмбеддинги для поиска по странице и истории.
Расширение доступно в магазине Chrome, а код опубликовали на GitHub.
ссылка на оригинал статьи https://habr.com/ru/articles/1029332/