СЧИТАЕМ ТОКЕНЫ В ЗАПРОСЕ

Давайте разберём это на конкретном примере.

Сейчас я задам боту такой контекст:
«Я Бот Роман.
Очень неразговорчив!
Говорю не больше 5 слов.
Не люблю людей, особенно тебя.
Груб и неопрятен.»

И напишу в. запросе:
«Привет) как дела?»

Мой код на Python будет выглядеть так:

message_list = [     { "role": "system", "content" : "Я Бот Роман. Очень неразговорчив! …» }     { "role": "user", "content" :  "Привет) как дела?" } ] completion = openai.ChatCompletion.create(     model=”gpt-3.5-turbo-16k",     messages=message_list ) chat_response = completion.choices[0].message.content completion_usage = completion.usage

chat_response — Это ответ Chat GPT на наш вопрос, он мне ответил: «Привет. Дела нормально, спасибо.»

completion_usage — это как раз расчёты, сколько токенов было затрачено! 
Выглядит completion_usage так:

{   "prompt_tokens": 76,   "completion_tokens": 18,   "total_tokens": 94 }

Теперь вспомним про Input и Output в начале статьи.
prompt_tokens — это число токенов затраченное на входные данные Input
completion_tokens — это число токенов затраченное на выходные данные Output
total_tokens — всего затрачено токенов, нам это не нужно.
Таким образом мы можем узнать, сколько токенов было потрачено на наш запрос.

РАССЧИТАЕМ СТОИМОСТЬ ЗАПРОСА

Что ж, мы узнали сколько токенов было затрачено на наш запрос, теперь рассчитаем, сколько он стоил.

Формула выглядит так:
--------> (p / 1000) * mi + (c / 1000) * mo = d
p —  (prompt_tokens) затраченное число токинов на вход
с — (completion_tokens) затраченное число токенов на выходе
*делим мы их на 1000, так как цена за 1000
mi — цена за 1000 токенов указанная в прайсе Input
mo — цена указанная в прайсе  Output
d — цена в долларах

Давайте рассчитаем по нашей формуле стоимость составленного запроса, используя gpt-3.5-turbo-16k:

РАСЧËТ:
(76 / 1000) * 0,003 + (18 / 1000) * 0,004 = 0,0003 доллара

На текущий момент доллар стоит 91 рубль
0,0003 * 91 = 0,0273 рубля
Итого: 0,0273 рубля

Округляем и получаем 3 копейки.

Немного, согласен, не жалко.

При этом символов в описании было 109 + 17 (в вопросе) = 126 символов на вход.
Бот с такой настройкой будет иметь мало пользы.

Давайте рассчитаем стоимость более реального запроса, когда Chat GPT имеет приличное описание преднастройки.

Число символов в описании 6453 + 16 (в вопросе) = 6469

В ответе получаем такое количество токенов:
«prompt_tokens»: 2968
«completion_tokens»: 104

Рассчитаем по формуле:
(2968 / 1000) * 0,003 + (104 / 1000) * 0,004 = 0,00932 долларов
0,00932 * 91 = 0,84812

Вот это уже нормальная сумма, 84 копейки за запрос.

Но будем честны, даже с курсом в 91 рубль за доллар, вы его за такую цену не купите, и я бы рассчитывал на 100 рублей за доллар.

ИТОГО, почти рубль за один неплохой запрос.

А теперь представим, что на каждый вопрос в 20 символов, бот будет нам отвечать в 230 символов, и в итоге каждый вопрос будет увеличивать число на 250 символов.

И приблизительно посчитаем, сколько будет стоить диалог в 10 вопросов боту.
Применим формулу для расчёта:
--------> (x * 10 + y * (n * (n+1) / 2) ) * (z / x) = r
x — число символов в описание 
y — на сколько будет увеличиваться число символов за один вопрос 
n — число сообщений
z — цена полученная при вычислении первого запроса (у нас 0,00932)
r — цена за переписку в 10 сообщений

РЕШАЕМ:
(6453 * 10 + 250 * (10 * (10 + 1) / 2) ) * (0,00932 / 6453)  ≈ 0,118076 долларов
0,118076 * 91 ≈ 10.752116 рублей

Не хило так, одна переписка на 10 вопросов нам обходится в 10 рублей и 75 копеек.

И если переписку продолжать, то цена будет продолжать расти, так как мы каждый раз тянем в новом вопросе предыдущие ответы и вопросы, чтобы чат оставался в теме.

Ещё надо учесть, что этот расчёт сделан по текущему курсу, вы скорее всего заплатите больше, покупая доллары.

🛑 Прошу заметить, что за 10 сообщений, это очень примерный расчёт! Реальную сумму мы сможем получить, только прогнав вопросы и получив на выходе число затраченных токенов.

КАК СЭКОНОМИТЬ ТОКЕНОВ В ЗАПРОСЕ

Недавно узнал, что Chat GPT тратит намного меньше токенов, если говорить с ним на Английском языке!

Давайте же проверим это)
Просто переведём в Яндекс переводчике наше первое описание про Рому.
Получаем:
«I'm a Bot Novel.
Very taciturn!
I say no more than 5 words.
I don't like people, especially you.
Rude and untidy.»

Вопрос можем задать так же на русском и ответ получим на русском:
«Привет) как дела?»

Получаем такие затраты токенов:
«prompt_tokens»: 55
«completion_tokens»:  13

Давайте сравним:

Уменьшение стоимости вышло примерно на 18%
Уже не плохо!

Но реальная экономия начинается, когда мы делаем большие запросы!:

Хоть и число на формирование ответа подросло, мы получаем экономию почти в 2 раза!!!
При этом, сами вопросы мы оставляем на русском.