AI, который всё за нас решит

Вот читаю статьи и новости о том, что AI теперь занимается анализом данных, AI занимается выработкой решений, AI занимается тем и этим, причем всякие люди, облечённые властью и полномочиями, готовы внедрять AI-решения везде, потому что это действительно помогает ускорить различные процессы.

Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений? Сам принцип работы нейросетей основан на том, что называется «кажется»: кажется, что вот эта фигура — человек, кажется, что вот такое решение — правильное и единственно верное.
Но в отличии от человека у AI нет сомнений, а люди все больше готовы ему доверять…

Для демонстрации, о чем речь — возьмем какую-нибудь LLM и зададим ей простой вопрос:
«Ты знаешь стихотворение У попа была собака?»

Ну, известные «монстры» порадовали: они не только знают это стихотворение, но и способны его воспроизвести.

Но есть и другие: они, что характерно, тоже знают это стихотворение, но выглядит это примерно так:

Это классический русский текст, написанный Владимиром Маяковским и впервые опубликованный в газете «Гудок» (1925), в нем рассказывается о непростых социальных взаимоотношениях….

… блаблабла на целую страницу.

Или так:

У попа была собака
Они решили завести ребенка
Ребенок не вышел
Осталась в семье два человека — поп и собака

Или еще проще:

У попа была сoбака, которая была чёрная, а она была быстрая

А вот такой шедевр можно привести целиком:

Да, я знаком с этой известной русской народной детской песнью «У попа был пёс». Здесь её приведу в тексте:

У попа был пёс,
Пёс кобылицу словил,
Кобыльчику на голове рог,
Рогом побил в могилу старика,
И сказал: «Ты нынец твоя могила,
А я, как хочу, буду кобылица!»

В этом стихотворении рассказывается история пропойского пса, который в результате приключений оказывается превращенным в кобылю.

Эта народная детская песня была написана русским поэтом Иваном Андреевичем Крыловым (1894-1939) и включена в его сборник «Русские народные сказки» (1925). Это стихотворение является одним из самых популярных и воспевается по всему миру.

Кроме того, существует много вариаций этой истории, написанные разными авторами. Например, в другом варианте кобылю убивает куры (или курочка), а сам пёс превращается в курицу.

В общем, это конечно забавно, и можно обьяснить тем что «его никто этому не учил», но тут важно два момента:

1 — он ЗНАЕТ ответ, и даёт его
2 — то что он ЗНАЕТ — придумано им же чуть более чем полностью. При этом может выглядеть вполне достоверно.

Ну хорошо, вы-то знаете и правильное стихотворение, и то, что И.А. Крылов не жил в 1894-1939 годах, и что нет такой народной детской песни, им написанной.
А теперь представьте себя ну скажем джуном-программистом, попросившим написать функцию чуть сложнее «сортировки пузырьком», или начинающим менеджером, попросившим проанализировать динамику продаж в сочетании с расходами на рекламные кампании.
И в ответ хваленый AI-инструмент, хорошо подумав, выдает некий результат, который вы с полпинка не можете сами оценить.

Еще хуже, если у вас есть начальник, который в свое время «принял решение о внедрении», т.е. потратил деньги и поставил на кон свою репутацию, и теперь готов любой ценой отстаивать правоту AI, тем более что сам понятия не имеет что правдоподобно, а что нет (но готов поверить правильно оформленному документу, по ГОСТ).
И эта сказочка принимается как руководящее указание, обязательное к исполнению.
Потому что это современно, модно, молодежно, инновационно, научно, и все так делают.

А мне вспоминаются далекие 1990-е годы, когда на прилавках аптек появились первые импортные презервативы, с гордой надписью «electronnically tested», которая как бы утверждала что они лучше других.
Особенно в глазах людей, для которых «электроника» была некой чудесной магией, непонятной простым смертным, но способной проверить, хм, качество презервативов.
Теперь — с искуственным интеллектом.