Привет, Хабр! С вами снова продуктовая команда Кэмпа. И сегодня мы хотим разобрать архитектурный вопрос, с которым мы сталкиваемся: строить продукт на автономных ИИ-агентах или на многошаговом pipeline?
В последние 3 года автономные ИИ-агенты стали одним из главных трендов индустрии. Идея выглядит почти идеально: дать модели цель, подключить инструменты — дальше агент сам строит план, принимает решения, вызывает API, анализирует результаты и доводит задачу до конца.
Но когда мы в Кэмпе начали переносить подобные архитектуры в реальные пользовательские сценарии, то полностью автономный агент начинал конфликтовать с продуктовой логикой. Если система всё делает сама и пользователь получает готовый результат, но не понимает, как он был получен и почему модель приняла именно такие решения. В образовательном сценарии это снижает вовлеченность и убирает главный эффект — обучение через взаимодействие.
В этой статье разберём, почему автономные агенты далеко не всегда подходят для пользовательского продукта, и почему в Кэмпе мы сделали ставку на многошаговый pipeline-подход.
В чём привлекательность ИИ-агентов и их главная слабость?
С точки зрения пользователя автономные ИИ-агенты действительно выглядят очень привлекательно: порог входа минимальный: не нужно разбираться в настройках, структуре запроса или логике генерации. Пользователь просто пишет цель и ожидает, что система сама всё сделает дальше.
В исследовательских или аналитических сценариях это действительно работает впечатляюще. ИИ-агент самостоятельно:
-
анализирует уровень пользователя;
-
ищет материалы;
-
строит roadmap;
-
подбирает сложность;
-
формирует последовательность тем;
-
адаптирует план под ограничения по времени.
Именно поэтому на ранних этапах Кэмпа мы тоже активно экспериментировали с полностью автономными ИИ-ассистентами для построения образовательных маршрутов. Но дальше начинались проблемы, которые пользователь чувствует напрямую.
Один и тот же запрос мог отрабатывать совершенно по-разному. В одном случае пользователь за 20–30 секунд получал хорошо структурированный и логичный план обучения. В другом — система начинала «думать слишком долго»:
-
перепроверяла уже найденные материалы;
-
несколько раз перестраивала roadmap;
-
повторно валидировала структуру;
-
бесконечно пыталась улучшить результат.
Внутри системы это приводило к резкому росту стоимости inference и количества tool calls — иногда в 5–7 раз на отдельных сценариях.\n\nНо для пользователя проблема была даже не в стоимости.\n\n
Главная проблема — потеря предсказуемости. Когда человек использует образовательный ИИ-продукт регулярно, ему важно понимать:
-
сколько примерно займёт генерация;
-
насколько стабильно качество;
-
почему система принимает те или иные решения;
-
как можно повлиять на результат.
Если мы рассматриваем продукт как образовательную среду, где человек должен участвовать в процессе генерации: настраивать результат, влиять на структуру ответа и получать новые навыки, — то полностью автономный агент ИИ-агент не заточен под такие функции. Он стремится скрыть внутреннюю сложность системы.
Поэтому пользователь получает готовый результат, но не понимает:
-
почему модель приняла именно такое решение;
-
как был собран ответ;
-
какие источники и ограничения использовались;
-
как улучшить результат в следующий раз.
В образовательном ИИ-продукте это критично. Если пользователь просто нажимает кнопку «сделай за меня», он получает быстрый результат, но почти не получает новых навыков.
Именно в этот момент мы начали постепенно уходить от полностью автономной модели в сторону управляемого pipeline-подхода, где ИИ не скрывает процесс целиком, а вовлекает пользователя в него и оставляет пользователя частью контура принятия решений.
Почему мы сделали ставку на pipeline?
В основе архитектуры Кэмпа лежит пошаговый pipeline-подход, который выглядит менее магическим, но значительно более управляемым. Теперь вместо полностью автономного агента система разбита на фиксированные этапы:
-
сбор и нормализация входных данных;
-
построение структуры;
-
генерация содержания по блокам;
-
проверка и корректировка;
-
финальная сборка результата.
-
Идея простая: разбить задачу на последовательные этапы, где каждый шаг имеет чёткий вход, ожидаемый выход и ограничения по качеству.
На практике pipeline-подход дает несколько преимуществ.
-
Предсказуемая стоимость
В pipeline мы можем жёстко ограничивать глубину обработки, размер контекста, токены на этапе.
Например, в ранних агентных тестах Кэмпа генерация занимала от 20 секунд до 3 минут, а количество итераций варьировалось от 8 до 30+. Но после перехода на pipeline стоимость запроса снизилась почти в 4 раза, а средняя задержка сократилась с 95 до 28 секунд на длинных сценариях генерации.
-
Контроль качества
На каждом этапе можно собирать метрики, например, качество поиска информации, длину рассуждения, согласованность структуры, количество исправлений, частоту повторной генерации. Если деградирует один модуль — это видно сразу.
Например, в одном из сценариев качество образовательных roadmap резко просело для технических специальностей. В pipeline это удалось быстро отследить: retrieval-модуль начал вытягивать слишком общий контекст вместо специализированных материалов. Исправление ranking-логики повысило релевантность материалов примерно на 32% по внутренней оценке асессоров.
-
Более понятный UX
Pipeline неожиданно оказался полезен ещё и с продуктовой точки зрения. Теперь пользователь видит этапность — анализ задачи, построение структуры, генерация, корректировка. Для образовательного продукта это очень важно, потому что человек учится не только получать ответ, но и управлять процессом его получения.
Например, после появления поэтапной генерации в Кэмпе пользователи стали примерно в 2,3 раза чаще вручную корректировать промежуточные этапы roadmap вместо полного перезапуска генерации с нуля.
Pipeline превращает LLM из «черного ящика» в систему, которую можно измерять и оптимизировать как любой production-сервис.
Почему pipeline выигрывает в образовательном ИИ-продукте
В образовательных сценариях pipeline даёт ещё один эффект: он естественным образом встраивает пользователя в процесс.
Пока автономный ИИ-агент стремится скрыть сложность, pipeline, наоборот, может её структурировать и частично показать. Это позволяет не только получать результат, но и понимать, как он был получен.
Пользовательский flow для образовательных ИИ важно оставлять в формате pipeline. Потому что в реальном продукте побеждает не самая «умная» архитектура, а та, которую можно измерять, проконтролировать, масштабировать, дебажить и предсказуемо улучшать.
Как будет устроен ИИ следующего поколения?
Автономные ИИ-агенты — мощная и перспективная технология. Но в реальных пользовательских продуктах сегодня побеждает не максимальная автономность, а управляемость системы.
Для продуктовых ИИ важны предсказуемость, контроль качества, стабильная экономика и понятный пользовательский опыт. Именно поэтому pipeline-подход сегодня оказывается практичнее во многих прикладных сценариях.
При этом будущее, скорее всего, не за полностью автономными ИИ-агентами и не за жёстким pipeline, а за гибридной моделью, где:
-
pipeline отвечает за стабильность и контроль;
-
агентность используется локально — там, где действительно нужна гибкость и самостоятельность модели.
Именно такой подход сейчас постепенно становится основой production ИИ-систем — в том числе и в Кэмпе. В итоге мы сделали ставку не на полностью автономных ИИ-агентов, а на управляемый pipeline-подход. Потому что когда пользователь участвует в процессе, ИИ перестаёт быть «магией одной кнопки» и становится инструментом, через который человек учится работать с задачей осознанно.
-
ссылка на оригинал статьи https://habr.com/ru/articles/1042558/