Реальное внедрение LLM в бизнес-процессы (3 кейса)

Всем привет! Меня зовут Сергей Темченко, я работаю системным аналитиком в компании EORA. Мы внедряем LLM-решения в такие компании, как Додо, Столото и другие.

Сегодня я расскажу о трёх кейсах внедрения LLM в крупных компаниях: Магнит, Skyeng и Точка. С представителями первых двух я лично созванивался, чтобы узнать детали. Эти кейсы охватывают разные сферы и помогают решать различные задачи, но всех их объединяет одно: грамотное использование LLM для быстрой оптимизации процессов. В конце статьи я подытожу своё отношение к внедрению LLM, основываясь на этих примерах.

Кейс 1: внедрения LLM для модерации отзывов в Магнит

Задача:
Команда Magnit Tech проверяла, насколько LLM могут автоматизировать модерацию пользовательских отзывов в приложении. Предполагалось, что задачу можно решать одним вызовом LLM с продуманным промптом.

Текущая система:
Сейчас используется «ансамбль» из простых словарных фильтров, паттернов и одной небольшой ML-модели. Около 67% текстов проходят автоматическую проверку, а оставшиеся 33% — вручную модераторами.

Эксперименты с моделями:

• ChatGPT 3.5 показал ~80% точности при базовом few-shot prompting и до 85% — при мультиагентном методе (несколько запросов на один отзыв).

• YandexGPT изначально справлялся хуже (проблемы с форматом вывода, непредсказуемые ответы), но при дообучении на собственном датасете точность выросла до 81%.

• Также тестировались другие ллмки подробнее читайте в статье Магнита.

Интересный инсайт про точность:
При сравнении с «золотым стандартом» (человеческой разметкой) выяснилось, что два модератора расходятся во мнении примерно в 10% случаев. То есть реальный максимум точности (если сравнивать с человеком) — это 90%, а не 100%.

Вывод:
С такой простой задача как модерация комментариев справляется GPT 3.5 или дообученый YandexGPT.

Ссылка на оригинальную статью.

Кейс 2: LLM помогает Skyeng ускорять производство учебного контента

Задача:

1. Создавать и персонализировать уроки (карточки с заданиями) под конкретные запросы учеников.

2. Ускорить выпуск контента (Time to Market) и снизить затраты на разработку.

Решение:

• Интегрировали ChatGPT в собственную CMS, чтобы методисты могли быстро генерировать задания.

• Использовали готовые шаблоны промптов и научили AI подстраиваться под внутреннюю разметку Skyeng.

• Добились увеличения скорости разработки в 3 раза и сокращения затрат в 4 раза на создание упражнений.

Почему не автоматизировать всё целиком?

• ChatGPT иногда ошибается и «придумывает» факты, поэтому методисты, корректоры и фактчекеры должны проверять и дорабатывать контент.

• При узкой специализации (например, «английский для бетонного завода») вопросы требуют экспертного участия человека.

• У преподавателей есть AI-генератор внутри урока, но решение, какие задания показать ученику, они принимают самостоятельно. Таким образом, люди остаются в процессе и контролируют качество.

Вывод:
На нынешнем этапе развития LLM при сложных сценариях (как создание уроков или ответы техподдержки) разумнее оставлять человека в контуре принятия решений, чтобы оптимизировать его работу , а не пытаться полностью заменить специалистов.

Ссылка на оригинальную статью.

Кейс 3: как банк Точка внедрил LLM для приветственных сообщений в бизнес-нетворкинге

Боль пользователей:
Предпринимателям бывает сложно начать диалог с потенциальным партнёром: нужны «правильные» первые фразы. Многие не пишут вовсе или рассылают «спам» и получают бан.

Решение:
В сервисе нетворкинга «Точка Нетворк» добавили кнопку «Варианты приветствий», которая генерирует 2–3 текста с помощью ChatGPT/GPT-4/GPT-4o. При этом учитывается контекст из анкет (опыт, «чем могу помочь», «в чём нужна помощь», цели).

Результаты:

• Около половины пользователей, которые смотрели подборку собеседников, воспользовались нейросетью для приветственных сообщений.

• 86% из них одобряют предложенные варианты, что говорит о реальном упрощении старта общения.

• Важно оставлять человека в цепочке: ИИ иногда ошибается или выдаёт шаблоны, а пользователь может отредактировать текст перед отправкой.

Вывод:
LLM в Точке — это не «магия ради магии», а точечное решение реальной задачи. Благодаря этой фиче пользователи быстрее налаживают деловые связи.

Ссылка на оригинальную статью.

Общие выводы

Чтобы эффективно внедрять LLM в бизнес-процессы, важно чётко понимать, что вы хотите оптимизировать или какую «боль» пользователя снимаете. В сложных сценариях важно оставлять людей в цепочке, чтобы контролировать качество и корректность решений. Оптимальная стратегия — запускать небольшие фичи с коротким циклом разработки, проверять гипотезы и постепенно масштабировать решения, основываясь на метриках и отзывах.