Dify.ai + BotHub: AI-агенты и RAG для бизнеса

Компании перешли от стадии «а давайте попробуем ChatGPT» к стадии «нужен ассистент по нашей базе знаний, который не врёт». Разница между этими стадиями — примерно два месяца работы бэкенд-разработчика, если строить с нуля: пайплайн эмбеддингов, векторную база, ретривер, оркестрация, логи.

За один вечер можно можно разобраться с Dify и подключить к нему модели через шлюз.

Разбираем связку по шагам.

Что такое ИИ-агент и чем он отличается от чат-бота

ИИ-агент — это LLM, у которой есть три вещи, отсутствующие у обычного чата: память, способность рассуждать над задачей и доступ к внешним инструментам, которыми она может пользоваться сама, без вашей команды.

Чат-бот отвечает текстом. Агент может сходить в поиск, дёрнуть API вашей CRM, посчитать что-то, прочитать документ и только потом ответить — причём последовательность действий он выбирает сам в рамках заданных ограничений. Технически это чаще всего реализуется через Function Calling или паттерн ReAct.

Например: ИИ агент для продаж. Он не просто отвечает на «сколько стоит», а достаёт актуальный прайс из базы, проверяет наличие, квалифицирует лида по заданным критериям и передаёт менеджеру карточку с уже собранным контекстом.

Что такое RAG: без него агент врёт

Второй базовый термин. RAG (Retrieval-Augmented Generation, генерация с дополненной выборкой) — это подход, при котором модель перед ответом сначала ищет релевантные фрагменты в вашей базе документов, а потом формулирует ответ, опираясь на найденное.

Зачем: LLM обучена на данных из интернета и ничего не знает про ваш регламент возвратов, прайс от прошлой недели и внутреннюю документацию продукта. Без источника она честно придумает ответ — это и есть галлюцинации. RAG «заземляет» модель на реальных данных.

Как устроен пайплайн:

1. Extract — вытаскиваем текст из PDF, DOCX, PPT, таблиц, сайта.

2. Clean — чистим мусор, разметку, повторы.

3. Chunking — режем на фрагменты подходящего размера.

4. Embedding — превращаем фрагменты в векторы.

5. Индексация — складываем в векторную БД.

6. Retrieval — на запрос пользователя достаём топ-N похожих фрагментов и кладём в контекст модели.

Собирать это руками — недели. В Dify это интерфейс загрузки файлов с настройками чанкинга и выбором режима индексации.

Что даёт Dify

Dify — open-source платформа для разработки LLM-приложений, объединяющая идеи Backend-as-a-Service и LLMOps. Проект основан в 2023 году, живёт на GitHub (langgenius/dify) и входит в топ open-source репозиториев с более чем 90 000 звёзд. Есть Dify Cloud, Enterprise-версия для развёртывания в собственном VPC и Community Edition для self-hosted через Docker/Kubernetes.

Ключевые блоки:

• Workflow Studio — визуальный canvas, где логика приложения собирается из нод: ветвления, промпты, вызовы инструментов, обращения к базе знаний, human-in-the-loop.

• Knowledge Pipeline — тот самый RAG-конвейер с поддержкой внешних векторных БД (например, Milvus).

• Агенты — на Function Calling или ReAct, с 50+ встроенными инструментами (веб-поиск, генерация изображений, вычисления) и возможностью подключать свои.

• Prompt IDE — сравнение промптов и моделей на одних и тех же данных.

• LLMOps — логи, метрики задержек, обратная связь пользователей, чтобы дорабатывать промпты по продакшен-данным.

• BaaS — всё готовое публикуется как веб-приложение, API-эндпоинт или MCP-совместимый инструмент.

Главное для нас: Dify поддерживает любые модели с OpenAI-совместимым API. И это открывает дверь.

Проблема: откуда брать модели

Dify — оркестратор, а не поставщик интеллекта. Ему нужны ключи. И тут российский бизнес упирается в стену: прямой доступ к OpenAI и Anthropic требует зарубежной карты, VPN и юридически мутной схемы оплаты. Для компании, которой нужны закрывающие документы, это нерабочая история.

Решение — шлюз-агрегатор. BotHub отдаёт API, полностью совместимый со спецификацией OpenAI, а за ним стоят GPT, Claude, DeepSeek, Gemini, Grok и десятки других моделей. Один ключ на весь каталог, оплата в рублях, без VPN.

Практическая выгода именно для Dify-сценария: разные ноды workflow можно вести на разных моделях. Дешёвая классификация входящего запроса — на лёгкой модели, финальная генерация ответа клиенту — на сильной. Экономия на объёме получается кратная, а переключение — это смена одного поля в ноде.

👉 Ключ создаётся за минуту: личный кабинет → «Для разработчиков» → «Ключи API» → «Добавить ключ» — Bothub

Подключение: 6 этапов

1. В Dify откройте Settings → Model Providers.

2. Найдите и установите плагин OpenAI-API-compatible (он есть в Dify Marketplace, счётчик установок — сотни тысяч).

3. На карточке плагина нажмите Add Model.

4. Заполните поля:

   • Model Type — LLM

   • Model Name — точный ID модели из каталога BotHub (копируйте, не набирайте руками)

   • API Key — ваш ключ из BotHub

   • API Base URL — https://bothub.ru/api/v2/openai/v1

   • Context size и Max tokens — по характеристикам конкретной модели

5. Если модель поддерживает инструменты — переключите Function Call Type в Tool Call, иначе агентские возможности работать не будут (это самая частая ошибка новичков).

6. Сохраните и в System Model Settings назначьте модель по умолчанию.

Типовые ошибки: 401 — неверный или неактивный ключ; 404 — либо в Base URL дописан лишний /chat/completions (Dify добавляет путь сам), либо не совпадает ID модели.

Сценарий на выходе

Собирается за вечер: база знаний из регламентов и прайса → агент с инструкцией квалификатора → нода-классификатор на дешёвой модели → ветвление «горячий/холодный лид» → генерация ответа на сильной модели → отправка карточки в CRM через HTTP-ноду. Публикуется как виджет на сайт или API для интеграции с телефонией.

Всё это — визуально, без написания бэкенда. И с полной прозрачностью расхода: у BotHub в кабинете есть история использования с выгрузкой в Excel, у Dify — логи всех запусков.

👉 Каталог моделей с ценами и фильтрами по типу — bothub

Dify закрывает инженерную часть — RAG, оркестрацию, агентов, мониторинг. BotHub закрывает инфраструктурную — легальный доступ к моделям, один ключ, рублёвая оплата, документы для бухгалтерии. Вместе это путь от идеи до работающего внутреннего ассистента за дни, а не за квартал.

👉 Получить ключ и стартовый баланс — bothub