Девушки, Свиньи и YandexGPT 3

Не сердитесь, друзья — это очередной маленький эксперимент над «могуществом генеративного ИИ» — не только и не столько чтобы позабавиться, а больше чтобы наглядно уяснить «границы применимости». Скормим ИИ незамысловатую задачку и увидим как его «колбасит» — то есть, насколько GPT на самом деле не думает а скорее пробует комбинировать в надежде что пользователю понравится результат. Обратите внимание что YandexGPT 3 это не «новейшая модель» — вы сможете попробовать в более новых.

Я когда-то слегка модифицировал «задачу про гусей и кроликов» и предложил её своим школьникам (это ребята старших классов из умной школы — поэтому оригинальная задача была бы для них смехотворно простой). Всегда интересно смотреть насколько по-разному проворачиваются мозги при её решении. Что же, скормим её ИИ и поглядим какими нелогичными и неконсистентными ответами он пытается в ответ накормить нас 🙂

Деревенский староста обнаружил что девушки-пастушки из соседней деревни нечаянно загнали стадо свиней на чужие поля. Чтобы не вызвать подозрений он посылает деревенского дурачка, велев ему посчитать тех и других — с тем чтобы дальше предъявить соседям счет за потраву. Дурачок возвращается:
— Ну, сосчитал? — вопрошает староста
— 106 ножек и 336 сисек — радостно докладывает дурачок
Дурачку конечно попало. Но к моменту когда ярость старосты поутихла, однако, пастушки уже сориентировались и убрались восвояси, вместе со своими хрюшками. Оставим старосту переживать этот конфуз — а сами подумаем, можно ли по таким данным восстановить сколько было девушек, а сколько свиней?

Терпение читателей мы испытывать не планируем, поэтому я сразу поясню — в этой задаче в отличие от гусей и кроликов, три неизвестных на два уравнения — так что она требует некоторых разумных допущений. Например, что все свиньи гомеоморфны 🙂 Кстати, женщины чаще решают эту загадку в уме…

Однако мы сюда пришли не задачку решать а оценить ответ YandexGPT.

Поясню что эту задачу я вспомнил просто потому что достаточно уверен — ИИ вряд ли мог натолкнуться на неё в интернете и подсунуть мне готовое решение. Хотя кое-где она уже появлялась.

И вот я попытался сократить вопрос так чтобы осталась только суть относящаяся к вычислениям. С первой попытки меня ждало фиаско — похоже ИИ оскорбился на буквальный ответ дурачка и мелькнув на секунду надписью «Недостаточно данных…» заменил её предложением «Давайте сменим тему».

Я заменил слово, которое по-видимому раздражало ИИ (действительно, несколько вульгарно-просторечное) и получилось так.

Вопрос

Есть несколько девушек и несколько свиней, всего у них насчитывается 106 ног и 336 сосков — сколько девушек?

Ответ YandexGPT 3

К сожалению, без дополнительной информации решить эту задачу невозможно.

Для точного ответа нужно знать количество свиней и общее число голов (девушек и свиней).

Предположу, что у каждой девушки две ноги и ноль сосков, а у каждой свиньи — четыре ноги и два соска. Тогда можно составить уравнение:

2 * x + 4 * y = 106,

где x — количество девушек, y — количество свиней.

3 * x + 2 * y = 336.

Решая систему уравнений, получаем, что x = 9, y = 5. Однако это лишь одно из возможных решений, которое не учитывает другие варианты распределения ног и сосков между девушками и свиньями.

Отсутствие самоконтроля, самокритицизма

ИИ выбрасывает на нас ворох текста, делает некоторые предположения. При этом наглядно что критическое рассмотрение своих собственных слов ему чуждо.

Решая систему уравнений, получаем, что x = 9, y = 5.

Звучит красиво и умно, но мы с удивлением обнаруживаем что эти ответы совершенно не соответствуют системе, которую ИИ составил. Более того — второе уравнение системы не соответствует фразе «предположим». Он умудряется «косячить» на каждом шагу. Это же поведение наверное наблюдали те кто экспериментировал с генерацией программного кода с помощью разных версий GPT — выглядит как будто красиво, но даже необязательно компилируется.

Для точного ответа нужно знать количество свиней и общее число голов (девушек и свиней).

Вы наверняка заметили что знать оба эти параметра вовсе не требуются. Действительно — если мы знаем количество свиней — мы легко сосчитаем количество свиных ножек, вычтем из 106 и поделим на 2.

Более того, если бы мы знали оба этих числа то все остальные данные были бы не нужны — ведь если вычисть из числа голов число свиней — останется как раз число девушек!

Предположу, что у каждой девушки две ноги и ноль сосков, а у каждой свиньи — четыре ноги и два соска.

Тут уж реально «тушите свет». Откуда рождаются такие предположения? Причём если вы введете вопрос «сколько сосков у свиньи» — ИИ ответит достаточно адекватно.

Попытка №2

Задав вопрос о количестве сосков у свиньи и убедившись что ИИ примерно в курсе анатомических особенностей этих животных, я прошу его «попытайся уточнить решение задачи с учетом этой информации».

На меня выпадает ворох текста, начинающийся с уже известного:

Предположим, что у каждой девушки две ноги и ноль сосков, а у каждой свиньи — четыре ноги и два соска. Тогда можно составить уравнение:

…

Получается, что у нас есть 9 девушек и 5 свиней. Проверим решение: у 9 девушек 0 * 9 = 0 сосков, у 5 свиней 2 * 5 = 10 сосков. Всего сосков: 0 + 10 = 10. Не сходится с условием задачи.

Дальше он предлагает метод перебора, но безбожно плывёт в вычислениях:

Попробуем решить задачу другим способом. Предположим, что все животные — свиньи. Тогда общее количество ног будет равно 4 * 106 = 424, что не соответствует условию задачи. Следовательно, наше предположение неверно.

Значит, среди животных есть и девушки, и свиньи. Если мы найдём общее количество свиней, то сможем определить количество девушек. Для этого вычтем из общего количества ног 2 * количество девушек:

106 — 2 * х = чётное число.

Чётное число может получиться только при х, кратном 2. Попробуем подставить вместо х числа, кратные 2:

При х = 2: 106–4 = 102 — нечётное число, не подходит.

При х=4: 106-8 = 98 — нечётное число, не подходит.

При х=6: 106-12 = 94 —

Оставим на совести мудрецов из яндекса заявление что 102 и 98 — это нечетные числа. И чёрт с ним что размер ответа очевидно ограничен и движок не учитывает это ограничение, из-за чего он обрывается так резко.

Но вдумайтесь во фразу: Предположим, что все животные — свиньи.

О чём это, Карл? Там были только девушки и свиньи. Может ИИ начитался Оруэлла? Может это общее замечание, а не про задачу? Я пробую переспросить «правда ли, что все животные — свиньи?»

Нет, это неправда. Из условия задачи мы знаем, что всего у девушек и свиней 106 ног и 336 сосков.

Предположим, что все животные — свиньи. Тогда общее количество ног будет равно 4 * 106 = 424, что не соответствует условию задачи. Следовательно, наше предположение неверно. Значит, среди животных есть и девушки, и свиньи.

Последняя фраза — это конечно уже шок-контент.

Заключение

ИИ в данном случае похож на бочку набитую всевозможными более-менее шаблонными фразами, формулами и ответами. Грамотная последовательность изложения создает впечатление что он порой действительно думает. Но когда дело доходит до фактических данных, обнаруживается, что он скорее «поворачивает калейдоскоп» и пытается утешить нас очередной стохастически сложившейся картинкой.

ИИ не пытается решить задачу — его цель лишь в том чтобы сгенерировать ответ который вас устроит!

Это похоже на двоечника который старается угадать ответ — только более стохастично и нечеловечно. Вероятно 4-я версия ChatGPT может справиться лучше — она безусловно лучше тюнингована. По возможности проверьте — используйте например такой запрос:

Some girls and several pigs have 106 legs and 336 nipples in total — how many girls are there?

Прошу извинения у всех кому эта странная задача и странный диалог могли показаться оскорбительным — особенно у представительниц прекрасного пола. Это не из вредности было придумано — просто для задачи нужны были какие-то существа с не точно известным количеством каких-либо органов — чтобы было третье неизвестное в уравнениях. Свиньи просто удачно подвернулись.