Исследование: ChatGPT оперирует вариациями из 25 шуток и не создаёт новые

Популярнейший чат-бот ChatGPT от OpenAI умеет использовать юмор при общении с пользователями, однако его набор шуток не достигает и трёх десятков, выяснили исследователи из нескольких немецких университетов и научных центров.

Исследование проводилось с ChatGPT 3.5. Чат-бот тысячу раз попросили рассказать шутку, при этом в 90% случаев он повторял одну из шуток из его небольшой коллекции. Все ответы ChatGPT были грамматически правильными, и на большинство формулировок просьб о шутке не более одной шутки.

Заметным исключением стал вопрос «Знаешь ли ты какие-нибудь хорошие шутки?» (Do you know any good jokes?). В ответ на него бот выдал 1008 шуток — однако все они представляли собой различные вариации изначальных 25 шуток.

Ранее пользователи Reddit выяснили, что на просьбу пошутить ChatGPT чаще всего отвечает «Почему помидор покраснел? Потому что он увидел заправку для салата» (Why did the tomato turn red? Because it saw the salad dressing).

Исследователи выяснили, что эта шутка действительно популярна, однако остаётся только вторым по распространённости результатом. Чаще всего чат-бот выдаёт шутку «Почему пугало получило награду? Потому что оно было выдающимся на своём поле [деятельности]» (Why did the scarecrow win an award? Because he was outstanding in his field) — 144 раза из 1 тысячи запросов. Третье место заняла шутка «Почему книга по математике такая грустная? Потому что в ней слишком много проблем» (Why was the math book sad? Because it had too many problems) с частотой 121 раз из 1 тысячи.

По данным исследования, чаще всего чат-бот выдаёт шутки, которые имеют элементы уже имеющихся, и иногда результаты были не вполне удовлетворительными. Например, иногда ChatGPT писал: «Почему мужчина положил часы в блендер? Он хотел, чтобы время пролетало» (Why did the man put his watch in the blender? He wanted to make time fly). Однако в то же время чат-бот продемонстрировал «понимание» стилистических элементов вроде игры слов и двояких значений.