YandexGPT и речевая аналитика: от поиска ключевых фраз — к пониманию смысла

Речевая аналитика в контакт-центре, или в отделе продаж — это ключевой инструмент для оценки качества обслуживания и соблюдения стандартов общения. С развитием больших языковых моделей (LLM), таких как YandexGPT, подход к анализу диалогов кардинально изменился. Теперь вместо поиска словосочетаний и настройки сложных шаблонов — достаточно передать весь диалог модели и задать ей понятные вопросы

Раньше аналитика работала по линейному сценарию: голосовые записи звонков из телефонии транскрибировались в текст, после чего специальный модуль искал в этом тексте заранее заданные ключевые слова и фразы. На основе наличия или отсутствия этих фраз делались выводы: был ли использован нужный скрипт, было ли приветствие, озвучено ли имя клиента и пр.

Теперь достаточно интегрировать аналитику с YandexGPT. Рассмотрим чуть более сложную аналитику, чем оценка «было ли приветствие». Оценим эмоциональность диалога (положительно, нейтрально, негативно), и пытался ли менеджер решить основную задач. Например, для автосалон, основная задача менеджера — пригласить клиента посетить автосалон. Еще желательно вылавливать случаи «Нет в наличии», когда клиент искал автомашину, которой нет в наличии.

Шаг 1. Собрать системный промпт

В запросе на API Яндекс есть два промпта, system и user. В системном промпте описываем общее задание для GPT, и добавляем описание, как результаты обработки разложить в JSON.

const mainPrompt = "Твоя компания продает автомашины. Ты аналитик, ты оцениваешь работу менеджеров отдела продаж. Оцени разговор менеджера с клиентом. Основной задачей менеджера является убедить клиента посетить автосалон.";  const jsonPrompt =  'Дай следующие результаты анализа:\n' + '1. Тема разговора (результат в поле topic);\n' + '2. Суммаризируй разговор (результат в поле summary);\n' + '3. Подведи итоги разговора (результат в поле result);\n' +  '4. Поставь оценку менеджеру (от 0 до 5), пытался ли менеджер выполнить свою основную задачу (результат в поле rate);\n' +  '5. Сообщал ли менеджер клиенту, что какого-то товара нет в наличии: да (out), нет (nope) - (результат в поле stock);\n' + '6. Оцени эмоции в разговоре: негативно (negative), нейтрально (neutral), позитивно (positive) - (результат в поле emotional);';

Соединяем через точку оба промпта, получаем системный промпт:

const systemPrompt = mainPrompt + '. ' + jsonPrompt;

Шаг 2. Собрать данные по диалогу

Во второй промпт, который user, собираем простынь переписки. Автор реплики, и через двоеточие сама реплика. Следующая реплика через новую строку. Так как в системном промпте используются «Менеджер» и «Клиент», то соответственно в переписке тоже используем «Менеджер» и «Клиент», а не «сотрудник», «покупатель», или как то еще.

const userPrompt =  'Клиент: здравствуйте, меня интересует автомашина;\n' +  'Менеджер: да, есть автомашины, но в наличии осталось мало. Не хотите ли приехать в автосалон?;\n' + ...

Шаг 3. Отправляем запрос в YandexGPT

У YandexGPT в API есть несколько методов для работы с LLM, самый дешевый это асинхронный. Цены зависят от токенов. Если не в токенах, а в понятных единицах измерения, то оценка одного диалога (примерно 2-3 минуты разговор) будет стоить около 4-5 тенге за диалог, это порядка 1 руб за диалог. Может чуть больше, не считал эти токены.

Запрос отправляем на «штатную» LLM. Есть еще вариант дообучить модель, и работать со «своей» LLM, но для общей оценки диалога, достаточно «штатной» LLM.

Соответственно url для асинхронного запроса:

const urlYandex = 'https://llm.api.cloud.yandex.net/foundationModels/v1/completionAsync';

Для запроса на API еще нужен folderId, это ID папки в консоли Яндекс. Так же в папке должен быть сервисный экаунт с ролью ai.languageModels.user, и для этого экаунта создать API-ключ.

Тело запроса:

const requestBody = {     "modelUri": "gpt://" + folderId + "/yandexgpt/latest", // "Это если испольуем общую LLM     // "modelUri": "ds://" + modelId, // Это если используем дообученную "свою" LLM     "completionOptions": {       "stream": false,       "temperature": 0.3,       // "maxTokens": "20"     },     "messages": [         {             "role": "system",             "text": systemPrompt,         },         {             "role": "user",              "text": userPrompt         }     ],     "jsonObject": true,     "jsonSchema": {         "schema": {             "type": "object",             "properties": {                 "topic": {                     "type": "string"                 },                 "summary": {                     "type": "string"                 },                 "result": {                     "type": "string"                 },                 "rate": {                     "type": "number",                     "minimum": 0,                     "maximum": 5,                 },                 "stock": {                     "type": "string",                     "enum": [ "out", "nope" ]                 },                 "emotional": {                     "type": "string",                      "enum": [ "negative", "neutral", "positive" ]                 }             },             "required": [ "topic", "summary", "result", "rate", "stock", "emotional" ] // Если не указать required, то LLM может игнорировать поля         }     } }

Выше, в системном промпте описано, как результаты оценки разложить в JSON. Соответственно в запрос вкладываем эту же самую JSON схему, и указываем, что поля обязательные (required). Если не указать required, то LLM может игнорировать поля.

При отправке запроса заголовок x-client-request-id можно не присваивать, он не влияет ни на что. Пустой заголовок x-data-logging-enabled означает, что я не хочу, чтобы Яндекс использовал мои данные для обучения своих моделей, то есть я не хочу, чтобы Яндекс хранил у себя мои данные.

По результатам запроса API должен вернуть resuestId, если тело корректное. Если некорректное, то в ответе не будет data.id.

    let result = {       success: false,       state: 'dummy',       requestId: 'no',     }      axios.defaults.headers.common['Authorization'] = 'Api-Key ' + gptKeyAPI;     axios.defaults.headers.common['x-client-request-id'] = 'snt_' + UtilRandomNum( 10000000, 90000000 );     axios.defaults.headers.common['x-data-logging-enabled'] = '';      try {       const res = await axios.post(urlYandex, requestBody);       result.requestId = res.data.id;       result.state = 'gpt';       result.success = true;       return result;     } catch (e: any) {       result.success = true;       result.state = 'bad';       return result;     }

Полученный requestId сохраняем.

Шаг 4. Получаем результаты YandexGPT

Далее через пару минут запрашиваем результаты, с url:

axios.defaults.headers.common['Authorization'] = 'Api-Key ' + gptKeyAPI;  const url = 'https://operation.api.cloud.yandex.net/operations/' + requestId;

Если в ответе есть поле done, и в нем значение true, то результаты готовы. Если не результаты не готовы, то через минуту повторяем запрос на результаты.

Парсим результаты:

const responseString = response.data.response.alternatives[ 0 ].message.text;  const responseData: any = JSON.parse( responseString );

В responseData будет JSON схема с ответом от YandexGPT.

Далее сохраняем, и показываем результаты довольным пользователям в карточке звонка на вкладке «GPT суммаризация».

В целом оценка работает хорошо. Пишите звоните, переходите на Демо стенд.