Локальный AI-ассистент в почте: инструкция по применению

Привет, Хабр! Это Eppie – p2p децентрализованная почта. У нас новости: мы добавили в Eppie ИИ. Сейчас расскажем, зачем, и как им пользоваться.

Локальный ИИ == приватный ИИ

Иногда ради безопасности пользователю приходится мириться с некоторыми неудобствами: короткий пароль удобнее длинного, но длинный надежнее. Люди естественным образом стремятся к удобству. И если длину пароля можно валидировать, и к этому все привыкли, то в других местах ожидать от пользователя больших жертв во имя безопасности не приходится.

Так вот, до недавнего времени мы не понимали, как в децентрализованной почте реализовать функции, к которым нас приучили современные почтовые сервисы: семантический поиск, умная сортировка, надежный спам-фильтр и прочее. Это все отличные изобретения, без которых сегодня уже трудно представить себе конкурентоспособный почтовый сервис. Проблема в том, что эта функциональность реализована благодаря клиент-серверной архитектуре – которая, по нашему мнению, и есть корень зла, от которого Eppie изо всех сил стремится уйти. Сервер должен подсмотреть содержание вашего письма, чтобы присвоить ему тег, отправить в спам или что-то в нем найти. В Eppie сервера нет, письма зашифрованы – и во всей сети нет такого элемента, который мог бы взять на себя эту работу. Получается очень приватная почта – с довольно ограниченными возможностями. Решение вдруг пришло от ИИ. Но без сервера.

В недавнем обновлении мы встроили в Eppie возможность подключать локальные модели ИИ. Фильтровать спам, предупреждать о попытке фишинга, отделять технические уведомления от сообщений живых пользователей, переводить и помогать писать письма в Eppie будет ИИ. Только вы никому не показываете письма, все работает локально, на вашем компьютере. Eppie от этого станет только безопаснее, и не придется жертвовать никакими удобствами.

Сейчас мы на этапе proof of concept. Функциональность пока самая базовая: скачиваешь уже обученную языковую модель, даешь ей задание, например, «переводи все письма с английского на русский» – получается простой ИИ агент, который по запросу обрабатывает входящие и генерит, если надо, ответы. Самое интересное – это сам промпт, который вы создаете.
Главная новость – это можно уже попробовать в свежей сборке. Сейчас расскажем, как.

Как настроить ИИ агента

Установите AI Dev Gallery Preview. Это приложение Microsoft для разработчиков ИИ. Оно позволяет скачивать языковые модели из репозиториев ИИ комьюнити Hugging Face и с GitHub.

1. В AI Dev Gallery во вкладке Models, выберите ИИ модель. Для начала смело качайте Phi 4 mini, первую в списке. В дальнейшем можно будет попробовать и другие – Eppie сейчас поддерживает: gemma, deepseek, llama, mistral, phi и qwen. Если вы уже погружены в тему, и хотите попробовать конкретную модель, нажмите + Add model и ищите в строке поиска.

Обратите внимание, на каком процессоре работает модель. Если у вас мощная видеокарта, выбирайте большие модели, работающие на GPU. Иначе ищите маленькие для CPU.

Можно не устанавливать AI Dev Gallery и качать модели руками с сайта (в этом случае обязательно укажите в поиске library – ONNX).

2. Зайдите в настройки и в разделе Model Cache посмотрите путь, куда скачиваются модели. Там же можно удалить ненужные модели.

Если будете качать модель с сайта, ее надо распаковать в папку с именем, в котором содержится название модели – сейчас Eppie пытается понять, что за модель загружена, по имени папки.

3. Откройте Eppie. ИИ поддерживается в версии 1.0.150.0 и выше. Свежий релиз можно скачать в Microsoft Store или на GitHub. Заходите в Identity Manager. Выберите Connect Service / Local AI Agent (Beta).

4. Выберите Import local AI model и укажите путь, куда вы скачали модель (прокликайте до самой глубоко вложенной папки). Выберите шаблон агента – давайте начнем с Sentiment Analyzer. Если хотите, можете изменить или дополнить промпт. Остальные настройки можно пока оставить.

Да, кстати, можно добавить несколько агентов с разными задачами.

5. В почтовом ящике выберите входящее письмо. В верхнем правом углу появится кнопка AI agent. Нажмите ее, выберите агента из списка и любуйтесь, как он выполняет поручение. Теперь у вас настроен ИИ агент, который будет работать локально, на вашем устройстве.

Чего же боле?

Итак, мы скормили письмо Татьяны к Онегину анализатору эмоций. Давайте попробуем написать ответ, и заодно посмотрим на дополнительные настройки.

Заходим снова в Identity Manager и подключаем нового агента. Давайте возьмем Email Composer. В принципе, пока не важно, что выбрать в меню шаблонов – важно, что мы напишем в промпте. Давайте попросим его писать ответы в жанре японских хокку.

Вот что у нас получилось (выбрали лучшее из двух десятков вариантов):

Селенье глубокой ночью,
Звезды светят одиноко,
Никто не с тобой.

Время течет, но я жду.
Кажется, надежда в лучах света.
Ты, святая, прости прости.

В тишине я жду.
Возможно, вы не услышали,
Но я здесь — ваша надежда.

Пришлось повозиться, чтобы получить что-то приличное, но и задача непростая.

Попробуйте подвигать параметры Top P, Top K, Temp. Коротко говоря, они отвечают за полет фантазии модели. Если выставить их слишком высоко, ИИ выдает нечитаемый мусор, низко – ответы предсказуемые. Где-то посередине можно добиться чего-то интересного.

Если привязать агента к конкретному почтовому ящику, он будет проделывать свою работу с каждым входящим письмом автоматически.

Меню Pre-processing и Post-processing позволяют соединить агентов в цепочки.

Не включайте пока Allow sending emails, а то агент иногда начинает переписываться сам с собой. Или воспользуйтесь тестовым почтовым ящиком, который не жалко.

Ну, вот, собственно, и все. Заходите на наш GitHub, качайте Eppie (агенты работают пока только в сборке UWP для Windows, но скоро выложим новые сборки для Linux и MacOS). Заводите issue и подписывайтесь.

Какие инструменты стоит добавить агентам? Например, возможность поиска в интернете, поддержку Model Context Protocol (MCP), или векторный поиск в письмах? Расскажите о своих впечатлениях. Спасибо!