VseGPT — сервис для доступа к ChatGPT, Claude, Palm, LLama2 с вебчатом и OpenAI API

Вообще, я люблю опенсорс — мой голосовой помощник Ирина тому подтверждение.

Тем не менее, в текстовых нейросетях пока опенсорс решений уровня GPT-4 нет — а пользоваться им при написании кода, честно говоря, правда полезно.

Если честно, меня несколько утомило решать вопросы доступа и оплаты OpenAI аккаунта, необходимого для доступа к GPT-4 и API (да, я провожу эксперименты, и API мне нужен).

Я бы с удовольствием поэкспериментировал и с другими сетями — например, Claude, о которой говорят гораздо меньше, но которая, по-видимому, не намного хуже (спойлер: я пробовал — по моему мнению, Claude 2 вполне на уровне GPT-4).

Постепенно реализовывая свои «хотелки», я создал сервис VseGPT.ru, который решает мои основные проблемы — предоставляет общий интерфейс в виде чата и OpenAI API к разным топовым нейросетям — ChatGPT, Claude, Google Palm и опенсорсным Llama 70b, 34b Code и пр.

Сервис я делал в основном под свои профессиональные потребности, так что давайте посмотрим, насколько он подойдет вам (+ помечено, если в сервисе есть, — если нет):

• Доступ по OpenAI API (крайне важно) (+).

  • Во-первых, я хочу свободу для экспериментов — например, чтобы делать обработку данных через серию запросов с помощью LangChain, или сделать плагин для Ирины, для того, чтобы с ней поболтать.

  • Во-вторых, я хочу пользоваться уже существующей массой инструментов, которые интегрируются с OpenAI API. Например, расширение для браузера ChatGPTBox через OpenAI API умеет делать прямо в браузере: суммирование текстов, перевод, «полировку» английского текста (исправление ошибок), объяснять код. Возможность пользоваться сторонними инструментами крайне привлекательна.

  • В-третьих, желательна минимизация лимитов по запросам к API — ждать по 20-60 секунд между запросами крайне неудобно (+)

• Доступ через вебчат (крайне важно) (+).

  • Иногда у меня нет времени лезть в Python скрипт, и я хочу просто задать вопрос нейросети через удобный интерфейс. Желательно сохранение чатов, светлая/темная тема, по возможности — поддержка Markdown для кода.

  • Еще желательна поддержка streaming при запросе — чтобы результат выводился по мере генерации токенов, и не нужно было ждать полного ответа (+)

• Свободное переключение между нейросетями (важно) (+).

  • Не хочу вендорлок на решения OpenAI. Хочу попробовать Claude — он дешевле, и у него обещают контекст в 100 000 токенов. Хочу попробовать опенсорсную LLama 70b (с трудом запускается на домашних машинах).

  • Хочу возможность быстрого переключения на другую сеть — например, на Claude v1 как аналог ChatGPT — если вдруг вторая будет недоступна.

• Небольшая оплата за размер запроса в зависимости от нейросети (приемлемо) (+)

  • Понятно, что совсем бесплатные решения либо будут сильно лимитированы, либо будут работать нестабильно. В конце концов, GPT-4 стоит в 10 раз дороже ChatGPT, и бесплатно её предоставлять на большие диалоги и обработки статей нереально. Поэтому я готов оплачивать свои запросы — если это реально недорого.(И, пожалуйста, без привязки банковской карты — только внутренний счёт).

• Небольшая стоимость подписки (приемлемо) (+)

  • Да, за такой сервис я готов был бы платить — но определенно не 20$. Рублей 200-400 было бы норм. И да, российской картой, пожалуйста. Да, нормально, если при низкой стоимости подписки оплата за запросы идёт отдельно.

• Бесплатный тестовый доступ (важно) (+)

  • Я хочу сначала попробовать, что всё работает, а уже потом заплатить.

• Доступ через Телеграм (не очень важно) (-)

  • В принципе, какие-то запросы было бы удобно делать через Телеграм, но там будет неудобно управлять диалогом. Для меня это не очень важно.

Совместимость с OpenAI API

Уже запустив сервис, я ещё раз почувствовал — как круто, что можно использовать совместимые наработки.

Мой API поддерживает наиболее популярный вызов /v1/chat/completion, который позволяет по серии диалога «юзер-нейросеть» получить новый ответ. (Есть /completion — просто дополнить текст — но он у меня не поддерживается, и в инструментах он используется не так часто)

Для интеграции с другими инструментами обычно достаточно, чтобы в них можно было сменить OpenAI API URL. В стандартной Python библиотеке openai это делается так:

import openai  openai.api_key = "sk-XXXXXXXXXXXXXXXX" # берётся на сервисе openai.api_base = "https://vsegpt_api_url" # берётся на сервисе  # формируем список сообщений messages = []  # системный промт - мы не задаем, но при желании можно # messages.append({"role": "system", "content": system_text})   # сообщение от пользователя messages.append({"role": "user", "content": "Напиши последовательно числа от 1 до 10"})   response_big = openai.ChatCompletion.create(     # id модели на сервисе или стандартный "gpt-3.5-turbo"     model="anthropic/claude-instant-v1",      messages=messages,     temperature=0.7,     n=1,     max_tokens=int(len(prompt) * 1.5), )  response = response_big["choices"][0]["message"] print("Response:",response)

И… код работает!

В API поддерживается и просто запрос, и с параметром stream=True — т.е. чтобы ответ выдавался по мере готовности (пример обработки стриминга есть в стандартной библиотеке OpenAI).

Интеграции

Благодаря совместимому OpenAI API можно быстро подключать что-то своё.

Болталка для голосового помощника Ирины.

Я уже делал плагин, дающий возможность общаться через Ирину с ChatGPT какое-то время назад — с сохранением контекста диалога, и возможностью настройки системного промта («Отвечай кратко и по существу», «Объясняй как маленькому ребенку» и пр.). Сейчас я достаточно быстро добавил новый API endpoint под vsegpt и функцию «новый диалог» для сброса контекста.

Простенький пример голосового диалога:

— Ирина, поболтаем?
 — Да, давай.
 — Что такое Солнце?
 — Солнце — звезда, которая находится в центре нашей солнечной системы и обеспечивает нам свет и тепло.

ChatGPTBox

Опенсорсное расширение для всех основных браузеров (Chrome, Edge, Firefox…), которое позволяет с помощью OpenAI API на страницах браузера выполнять:

• Перевод

• Суммаризацию (краткое содержание) текста

• Объяснять программный код

• Полировать текст (убирать грамматические ошибки и пр.)

OneRingTranslator

Мой опенсорс REST-сервер, который позволяет переводить тексты через самые разные движки (онлайн и оффлайн), которые подключаются плагинами. К нему я сделал плагин для vsegpt — так что можно переводить и через нейросети.

Про OneRingTranslator я думаю ещё как-нибудь написать на Хабре, а пока, если интересно — в него встроена оценка качества перевода с помощью метрик BLEU/COMET, и вот результаты перевода через GPT-нейросети в сравнении с традиционными переводчиками (больше — лучше, Claude 2 прям топ):

Заключение

«Eat your own dog food»

Учитывая, что я сам использую свой сервис, думаю, он будет становиться лучше — по меньшей мере для меня, и людей, думающих схожим образом.

Мне бы хотелось еще подключить анализ документов — чтобы сеть могла по ним отвечать, ну и побольше дельных инструментов — но это дело времени. Хотелось бы подключить что-то отечественное вроде GigaChat — но у него пока нет API. Планирую сделать аналогичное компактное решение с OpenAI API и чатом только на опенсорсных нейросетях, чтобы можно было эффективно разворачивать в замкнутом контуре предприятия (если вдруг такое нужно — пишите в личку).

Ну а пока я только выложил сервис, и надеюсь, он будет полезен.

https://vsegpt.ru/