Архитектура RAG с виртуальной файловой системой и LLM-роутером

Введение

Классический RAG (Retrieval-Augmented Generation) решает задачу поиска релевантного контекста в векторных базах данных. Однако при работе с большими объемами знаний возникают вопросы структурирования, управления и актуализации информации.

В данной статье рассматривается альтернативный подход: использование LLM-роутера и виртуальной файловой системы (VFS) для организации базы знаний. Реализация выполнена на базе модели Qwen2.5-3B-instruct-q5_0 и представляет собой концептуальный прототип.

Основная идея

Архитектура вводит дополнительный уровень абстракции между пользователем и векторной базой данных. Вместо прямого добавления документов в плоское хранилище чанков, система использует LLM для анализа содержимого и автоматического размещения информации в иерархической структуре.

Метафора: Система работает как студент с хорошей памятью, но ограниченными знаниями. Если ему предоставить новый материал в естественной форме (например, статью из Википедии), он способен:

• Понять тему документа

• Определить подходящее место для хранения

• Структурировать информацию для последующего использования

• Использовать накопленные знания при ответе на вопросы

Архитектурные компоненты

1. LLM-роутер

Компонент отвечает за классификацию пользовательских запросов и определение намерений:

• Запрос к базе знаний — запуск поиска в RAG

• Добавление документа — анализ содержимого и генерация пути в VFS

• Неоднозначный ввод — запрос уточнения у пользователя

Роутер использует локальную LLM с низкой температурой (0.1) для обеспечения детерминированности. Результат работы — структурированный JSON с полями action, vfs_path, reasoning.

2. Виртуальная файловая система (VFS)

Иерархическая структура путей (аналог файловой системы) для организации документов. Каждый документ имеет уникальный путь (например, /архив/статьи/нейросети/rag_архитектура.md).

Особенность реализации: Двойное хранение данных:

• Коллекция полных текстов — оригинальные документы для чтения и редактирования

• Коллекция чанков — фрагменты документов с перекрытиями для семантического поиска

Это позволяет редактировать документы без проблем с overlapping-чанками.

3. Улучшенный RAG-поиск

Поиск комбинирует несколько подходов:

• Семантический поиск — косинусное сходство векторов

• Keyword-boost — повышение релевантности при совпадении ключевых слов в имени файла

• Фильтрация по порогу расстояния — отсечение нерелевантных результатов

Сравнение подходов

Технические детали реализации

Используемая модель: Qwen2.5-3B-instruct-q5_0 (локальный запуск через llama.cpp)

Ключевые особенности:

• Нормализация текста для улучшения качества поиска (удаление диакритических знаков, унификация символов)

• Интеллектуальное обрезание текста для роутера (сохранение «головы» и «хвоста» документа)

• Обработка Markdown-файлов через специализированный парсер (использование только структуры заголовков)

• Механизм разрешения конфликтов при добавлении существующих документов

Текущий статус: Концептуальный прототип, демонстрирующий работоспособность подхода.

Потенциальные сценарии применения

1. Персональные базы знаний — автоматическая организация заметок и документов с возможностью семантического поиска

2. Корпоративные хранилища документации — структурированное хранение регламентов с возможностью точечного обновления

3. Автоматическая систематизация информации — преобразование неструктурированных данных в организованную базу знаний

Заключение

Архитектура LLM-Router + VFS + RAG предлагает альтернативный подход к организации баз знаний, добавляя уровень интеллектуальной структуризации поверх классического RAG. Основной вклад — введение иерархической организации данных с возможностью полноценного CRUD-управления.

Текущая реализация на базе Qwen2.5-3B демонстрирует принципиальную работоспособность подхода. Дальнейшее развитие может включать оптимизацию производительности, улучшение качества роутинга и расширение поддерживаемых форматов документов.