1. Введение
В вакансиях и туториалах вокруг RAG и AI-агентов чаще всего фигурирует Python. На JVM экосистема тоже есть — LangChain4j, Spring AI и другие, — но живых разборов «как это выглядит в продукте» заметно меньше.
Я создал B2B-систему Смысл.ИИ (smysl.ai): сотрудник задаёт вопрос по внутренним документам компании и получает ответ с опорой на корпоративные материалы — с указанием источников.
Ниже — обзор архитектуры. Исходники закрыты; в цикле статей — схемы и код. Публичный логин к демо не раздаётся; по тексту — скриншоты и при необходимости короткое видео. Документы в библиотеке — из вымышленной демо-компании, не данные реального заказчика.
В данном цикле упор на AI-часть: обработка документов, индекс, поиск по корпусу, агент и ответ с указанием, из каких материалов взяты факты. Бэкенд-обвязка — PostgreSQL, структура таблиц, авторизация и аутентификация, REST API, задачи по расписанию, ретраи и прочее — почти не разбирается.
Библиотека материалов — загруженный корпус, по которому идёт поиск:
Вопрос в чате:
Финальный вид ответа:
2. Задача продукта и границы
В средних и крупных компаниях обычно накапливается большой объём внутренних документов и других материалов. Но когда нужно получить из них ответ на конкретный вопрос, это часто занимает много времени: обход папок и различных файловых хранилищ, уточнения у коллег.
Отдельная проблема — изоляция: фрагменты или целые файлы уходят во внешний чат вроде ChatGPT «просто проанализировать», корпус оказывается вне контура компании. В Смысл.ИИ библиотека хранится в инфраструктуре системы; для ответа в LLM уходят найденные фрагменты (чанки или страницы), а не весь корпус. LLM подключается по API: в текущем демо — внешний провайдер; тот же контур можно нацелить на модель в своём облаке или on-prem, если развёрнута совместимая точка доступа.
Узкая задача продукта: вопрос по корпоративному корпусу → ответ с опорой на ваши файлы (не «знания модели из интернета»), с источниками. За рамками — LMS, замена всей базы знаний и платформа агентов.
Под капотом: поиск → при необходимости уточняющие раунды агента → в контекст LLM уходят найденные фрагменты документов — чанки или целые страницы — и уже по ним формулируется ответ.
Обычный RAG часто = один проход retrieval → всё в контекст → ответ. Здесь у LLM есть tools: поиск по материалам может идти в несколько раундов (уточнил запрос / добрал фрагменты), потом ответ.
Ниже — как устроена эта система: документы → индекс → агент с инструментами → ответ и источники. Это разбор работающего продукта, а не чеклист enterprise-внедрения «под ключ».
3. Загрузка и чат
Загрузка / индексация
Сейчас система умеет обрабатывать: PDF, DOCX, TXT, MD, HTML.
На схеме — путь файла от загрузки до индекса: парсинг, нарезка, запись фрагментов.
Чат
В чате вопрос уходит в агент; при необходимости вызывается tool (поиск по материалам), затем ответ со ссылкой на найденное. Это цикл с инструментами, а не один вызов LLM «в лоб».
4. Архитектура системы
Система состоит из:
-
Бэкенд — два сервиса с крупным разграничением: обработка документов и чат / ответы LLM
-
data-processor(Kotlin / Spring Boot) — загрузка и обработка документов -
assistant(Kotlin / Spring Boot, LangChain4j) — чат, агент, поиск
-
-
Фронтенд — пользовательский интерфейс (React)
-
Инфраструктура
-
Docling — парсинг и нарезка на чанки в конвейере обработки документов (
data-processor) -
Apache Doris, PostgreSQL
-
Auth (Keycloak)
-
Прокси (Caddy)
-
-
Внешние зависимости
-
LLM API
-
Объектное хранилище файлов (S3-совместимое)
-
VK Cloud — хостинг демо-контура
-
Два сервиса — не ради «микросервисов как моды», а из‑за разной ответственности и характера нагрузки: data-processor тянет загрузку и тяжёлую обработку файлов, assistant — диалог, tool calls и генерацию ответа. Так проще независимо развивать и выкатывать AI-контур и конвейер документов. Сотню сервисов с нуля не делал — граница одна: документы отдельно, диалог отдельно.
Ниже — упрощённая схема контейнеров.
Ключевые решения по стеку
-
Apache Doris — full-text и semantic-поиск в одном хранилище, без связки «отдельный поисковик + vector DB». У Qdrant тоже есть оба режима; для продукта важнее единый контур под гибридный поиск и запас по нагрузке, а не чемпионство на чистом ANN (там специализированные vector DB часто сильнее).
-
Valkey Streams — генерацию ответа LLM крутит один инстанс
assistant, а SSE-подключение клиента может прийти на другой. Токены уходят в Valkey и читаются с инстанса, который держит соединение, а не только «вживую» с процесса, где крутится модель. -
GraalVM Native Image — сервисы в native: быстрее старт и ниже overhead относительно обычного JVM на том же контуре; плата — дольше сборка.
5. Стек технологий
|
Технология |
Назначение |
|---|---|
|
Бэкенд |
|
|
Язык программирования |
|
|
Фреймворк |
|
|
Создание native-образа |
|
|
AI и агент |
|
|
Вызов LLM, tools и цикл агента |
|
|
Конвейер обработки документов |
|
|
Парсинг загружаемых файлов и нарезка на чанки |
|
|
Хранение и поиск |
|
|
Хранение фрагментов документов и поиск по корпусу |
|
|
Реляционная БД сущностей системы (метаданные файлов, чаты и др.) |
|
|
S3-совместимое хранилище |
Объектное хранилище файлов |
|
Фронтенд |
|
|
Веб-интерфейс |
|
|
Инфраструктура |
|
|
Аутентификация (OIDC) |
|
|
Valkey (Redis Streams) |
Потоковая передача ответа LLM в чат |
|
Обратный прокси |
|
|
Контейнеризация и локальный/демо-контур |
6. Вклад в open source
По ходу реализации находил ограничения и баги зависимостей. Это вылилось в issues и PR:
7. Что будет дальше
Серия из трёх статей:
-
Обзор (эта статья)
-
Конвейер обработки документов: Docling → стадии → индекс в Doris
-
Агент: tools, поиск по корпусу, ответ с указанием источников в материалах; потоковая передача токенов
ссылка на оригинал статьи https://habr.com/ru/articles/1109712/