Разработчики обратились к специализированному инструменту Caveman, который заставляет ИИ генерировать максимально краткие ответы с имитацией стиля речи «пещерного человека». Таким образом компании реагируют на стремительный рост расходов на токены.
Автор инструмента Джулиус Брюсси в своё время обратил внимание на то, что значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции, сохраняя программный код, команды, URL-адреса и технические детали.
Тестирование с Claude и Codex позволило сократить количество генерируемых токенов на 65–75%. При этом пользователям доступны несколько уровней сжатия текста. Брюсси рассказал, что его разработкой уже пользуются сотрудники OpenAI, Nvidia, GitHub и DEPT.
В развитии проекта участвуют и создатели популярных ИИ-моделей, в том числе технический директор OpenAI Шейн Суини, который лично внёс изменения в репозиторий Caveman, добавив поддержку фирменного инструмента Codex. Утилита также доступна в виде полноценного автономного агента для работы через терминал, который расходует почти в два раза меньше токенов при выполнении аналогичных задач и полностью совместим с ИИ-системой OpenClaw.
Между тем аналитики Gartner прогнозируют, что растущее использование программных агентов и моделей ценообразования на основе потребления может привести к беспрецедентному росту расходов разработчиков на ИИ в течение следующих двух лет. Вскоре предприятия будут платить за использование токенов для разработчиков столько же, сколько выделяют на зарплаты.
ссылка на оригинал статьи https://habr.com/ru/articles/1054188/