Коллективное общение с chatGPT

Коллективное общение с ИИ, когда все участники группы видят вопросы друг-друга, — это принципиально новая идея.

Апробация идеи на студенческой группе и группе жилого комплекса показала, что ChatGPT 3.5 turbo в Telegram работает быстрее и удобнее, чем с официальной страницы, не нужна регистрация и VPN. И людям это нравится. И нравится, что это бесплатно.

Что сделано

Первым шагом Лев @Levunt1nсделал бота для группы студентов и преподавателей первого МГМУ им. И. М. Сеченова. И в группу посыпались вопросы преимущественно про апоптоз, экспрессию генов, антибиотикорезистентность, определения интеллигентности и трюки в сноубординге.

Вторым шагом Дмитрий @diprogразработал бота для группы с темами. Группа в виде форума (или «суперчата») позволяет создать в одной группе несколько параллельных веток.

Поместить бота в тему группы не очень просто. Дмитрий разработал бота, который это может. Плюс бот отвечает не очередным ответом в тему, а ответом на заданный вопрос с цитированием, это удобно.

Бот настроен так, что его нельзя «угнать» из группы. Иначе ботом будет пользоваться неограниченное число людей и любые лимиты исчерпаются.

Наблюдения за пользователями

Люди ОЧЕНЬ разные:

1. Как оказалось, собственных вопросов у большей части людей вообще нет. Люди добавляются в группу, но не задают ни одного вопроса. Некоторые же задают вопросы один за другим, да все разнообразные, интересные;

2. Кто-то задает короткий вопрос и удовлетворяется ответом; другие задают вопросы последовательно, делая выводы из предыдущих ответов и упорно двигаясь вперед;

3. Некоторые бросают боту короткие команды, будто приказы. Другие обращаются к машине вежливо и благодарят за ответы. Причем форма обращения и благодарности каждый раз разная, и увязана с индивидуальной историей диалога;

4. Одни радуются возможности спросить все, что приходит в голову; другие осторожно выясняют уровень конфиденциальности, спрашивают кто еще видит ответы, и в курсе ли «товарищ майор»;

5. Одни спрашивают рецепт шарлотки; другие уточняют корректность использования функции Миннаэрта в модели Блинна-Фонга.

И у всех постепенно вопросы заканчиваются. Даже самые активные спрашивать прекращают, и жизнь в чате затихает. Но время от времени пользователи возвращаются и задают вопросы уже не из любопытства, а по насущной потребности. И из диковинки нейросеть превращается просто в справочник.

О степени адекватности нейросети

ChatGPT не имеет цели и какой‑то постоянной «картины мира» в «голове». Я попытался написать для студентов методичку по статистике, используя бота. Но оказалось, что с каждым новым запросом нейросеть переходит на другие модели, методики и определения; и пользоваться такой методичкой нельзя.

Студенты пробовали решать задачи по химии, но результат плачевен — бот дает подробные и правдоподобные, но неверные ответы.

Решение нейросетью сложных задач похоже на поведение восьмиклассника, который нахватался умных слов и сочиняет правдоподобный ответ.

В некотором смысле chatGPT «без царя в голове» — сумасшедший. Обсуждая с друзьями это его свойство, мы пришли к девизу: «Сумасшедшего советчика, тренера и инструктора — в каждый дом!».

Наибольшая ценность — это люди, задающие вопросы. Открыв доступ к боту, openAI получила огромную базу вопросов. Ценную тем, что закрывает потребности большинства.

Предположительно, openAI анализирует эти вопросы и методом «principal component analysis» вычленяет основные темы, в каждой теме вычленяет основные вопросы, а затем живые сотрудники openAI рассылают эти вопросы по институтам с просьбой дать ответы, на которых обучится следующая модель. И через год новое поколение внятно и поражающе точно ответит на вопросы более чем 99% пользователей. Эти 99% будут в восторге, и только оставшийся 1% поймет, что общается с сумасшедшим.

А затем бота будут подключать к почтовым серверам компаний, чтобы он прочитал архив и смог отвечать на вопросы руководства «что у меня в компании происходит и как от людей добиться того или иного результата?». И вместо неадекватного руководства мы будем корить управляющий нами сумасшедший ИИ.

Почему Telegram?

Самый быстрый и удобный механизм с доступом через смартфон. И администратору очень просто при необходимости забанить токсичного неадеквата, и оптом стереть все того, что он попытался вылить на сообщество.

Где можно попробовать?

Студенческую группу мы решили не «светить», она драгоценная, пусть останется миром уникальных диалогов симпатичных и любознательных людей. В чате ЖК совсем грустно.

И поэтому создали общедоступную группу с отдельным ботом на выделенном сервере специально для Habr. Посмотреть что будет.

Настройки бота

ChatGPT склонен к пустословию. Когда midjourney не очень понимает задание, он рисует красивых девушек. Когда не очень понимает задание chatGPT, он пустословит и читает нотации. Для минимизации пустословия подобрали следующие параметры:

1. «Temperature» контролирует разнообразие ответов. Значение по‑умолчанию 1,0 уменьшено до 0,7 чтобы уменьшить объем выдачи, не относящейся к ответу.

2. «Top_p», также известный как «nucleus sampling», уменьшен с 1,0 до 0,5, что помогает уменьшить общий объем текста.

3. «Presence Penalty» и «Frequency Penalty» увеличены с 0,0 до 0,5, что уменьшает частоту использования моделью одних и тех же выражений.

Во сколько обходится

ChatGPT 3.5 turbo расходует токены. Неограниченное количество пользователей лимит выберет, но любая активность ограниченной группы выбрать лимит не сможет.

Оплата chatGPT3.5 turbo происходит по модели pay-to-go по завершении месяца. Сколько токенов потратилось, столько с карты и спишется. Это крайне неудобно, поэтому пришлось установить месячный лимит. Предположительно, в первый месяц лимит вычерпается и нужно будет доплатить. Но судя по опыту с предыдущими группами через месяц активность пользователей значительно снизится. Через год планирую выложить здесь раскладку по расходам, сейчас она непонятна.

Также настроено ограничение длины контекста в 4 сообщения, т.к. это должно сильно сэкономить расход токенов. Начало беседы длиннее 4х сообщений (два своих сообщения и два сообщения пользователя) бот не помнит.

Для бота группы института или компании оплата за год должна быть смехотворной и можно длину контекста не ограничивать.

Как оплачиваются токены? Также как Midjourney — с помощью умельцев, берущих небольшую комиссию.

Цель

У большинства «матросов нет вопросов». Это грустная, но правда. Вопросы задает очень маленький процент людей. Эти люди невероятно ценны, их стоит читать.