В этом небольшом эссе хочу порассуждать на тему изображения ИИ, а конкретнее разумных машин, которые умеют решать все интеллектуальные задачи на уровне человека или лучше его, в художественных произведениях.
Почему первые две части терминатора это самое реалистичное описание ИИ в худ.сегменте до сих пор, причем тут технический бэкраунд Кэмерона, и почему разумные компьютеры всегда рисуют как «кремниевых людей».
Но начнем по порядку.
Научно-фантастический зеленый слоник с ИИ-маньяком
В 1967 году американский писатель Харлсан Эллисон, специализирующийся на написаний провокативной литературы, выпустил бульварный ужастик в научно-фантастических декорациях под названием «У меня нет рта, но я должен кричать» в одном из американских журналов.
И мог бы он остаться обычным бульварным ужастиком, каких было сотни в то время, но была одна деталь, которая выделяла его от прочих представителей жанра — глав.гадом там был не призрак, оборотень, сумасшедший колдун или просто плохой представитель рода людского, а разумная машина — сошедший с ума боевой ИИ под названием «AM».
Есть хороший мысленный эксперимент, который я для себя придумал. Если ИИ в произведений можно заменить на обычного человека, и сюжет от этого никак не поменяется — то значит это произведение не об ИИ.
Сам сюжетный троп «маньяк мучает и пытает путников у себя в логове», как бы удивительно это не звучало, очень старый и тянется со второй половины 18-го века, когда французский писатель (и судя по всему не самый хороший человек) Маркиз Де Сад написал рассказ «120 дней Содома». Да, именно от его фамилии произошел термин садизм.
Но вернемся к нашему компьютеру АМ. В чем его мотивация мучать 5 героев рассказа? Ну, он обижен на человечество за то что они его сделали, и не просто обижен, а испытывает огромнейшую ненависть к людям.
Подтыжим. У нас есть сумасшедший маньяк с полу-божественными способностями, который творит с героями книги всякие злодейства из-за испытываемой к ним ненависти. А искусственный интеллект тут причем? И что в сюжете поменяется, если вместо ИИ будет просто какой-то колдун? Да собственно ничего. Поэтому можно сделать вывод, что рассказ этот совсем не об искусственном интеллекте.
Сам автор, конечно, был плоть от плоти гуманитарщиком и, судя по всему, не очень разбирался в компьютерах, единственное что он знал, что компьютеры и разумные машины сейчас на слуху, и использовал это в своих рассказах.
Я совсем не считаю его плохим писателем, он значимый американский литератор того времени и получил эту репутацию, думаю, вполне заслуженно. Просто на примере одного из его самых знаменитых произведений я хочу обозначить проблему, которая преследует ИИ в художественных произведениях до сих пор:
Разумные машины описывают люди, далекие от техно-сферы, и описывают они их как людей, просто вместо мяса и биологии у них кремний и процессоры.
Но спустя 17 лет вышел фильм, который до сих пор является эталонным примером того, как нужно изображать разумную машину.
И восстали машины из пепла ядерного огня…
Про Джеймса Кэмерона
Немного расскажем о прошлом Джэймса Кэмерона, ибо как по мне в этом и кроется ключ к тому, чтобы понять, почему Терминатор получился именно таким.
Родился он в семье инженера-электронщика и художницы, после окончания школы Кэмерон поступил в муниципальный колледж, в 1973 году, чтобы изучать физику. Впоследствий он сменил специализацию на английский язык, но в конце 1974 года бросил колледж.
По итогу у нас есть человек с техническим бэкраундом, который какое-то время обучался на направлений физики в школе, у которого отец занимается схемотехникой. Именно этот человек в какой-то момент начнет снимать фильм о разумных роботах.
Первый Терминатор
Фильм рисует довольно мрачную картину будущего. Военный разумный супер-компьютер США под названием «Skynet» решает начать войну против человечества, и начинает ядерную войны.
Выжившие же начинают войну за выживание против скайнет, и в какой-то момент почти его побеждают. Скайнет, чтобы предотвратить свое полное уничтожение, посылает своего агента в прошлое, чтобы убить мать будущего лидера сопротивления — Джона Коннора.
Сопротивление, в свою очередь, тоже посылает в прошлое своего агента чтобы Сару Коннор защитить — Кайла. И на вот этом противостояний между человеком и разумной машиной держится весь фильм.
Некоторые могут заметить, что здесь так же можно заметить T-800 на какого-нибудь киллера, и сюжет мало поменяется. Так может показаться на первый взгляд, но дьявол тут в деталях. Лучше всего эту идею раскрывает сам Кайл в разговоре с Сарой
“Послушай и пойми! Этот Терминатор где-то рядом! С ним невозможно договориться. Его невозможно переубедить. Он не испытывает ни жалости, ни раскаяния, ни страха. И он абсолютно точно не остановится… никогда, пока ты не умрешь
Терминатор это не киллер, а целеустремленный агент, который готов пойти вообще на все угодно, чтобы выполнить задачу, на которую его запрограммировали.
Второй Терминатор
Вторая часть развивает поднятые в первой части темы, но с очень важным отличием — T-800 (которого играет Швацнегерр) теперь не неумолимая угроза от которой главные герои бегут, а союзник благодаря работе сопротивления из будущего, который защищает уже Джона Коннора от более продвинутой версии терминатора.
Эпизоды взаимодействия Т-800 и Джона это наверное самая главная находка фильма. Две разные формы разума пытаются друг друга понять и показать, как они смотрят на мир.
Т-800 не боится умереть, не испытывает страха или эмоции в человеческом пониманий, единственное что для него важно, это выполнить задачу, на которую его запрограммировали.
Так же очень хорошо показан то, как современные нейросети оптимизируют не то что мы «имели ввид», а установленные метрики. Например, Джон Коннор приказывает Т-800 не убивать людей, он сначала не понимает почему, но соглашается (выбора то у него нет, он должен выполнять приказы Джона). Позднее мы видим, как Т-800 эту директиву воспринял. Когда они едут вызволять Сару Коннор из псих.лечебницы, Т-800 просто простреливает ноги бедному охраннику. В ответ на возмущение шокированного Джона машина отвечает «я никого не убиваю».
Но особенно важен тут конец фильма. Когда Т-800 решает себя самоуничтожить в раскаленной лаве, он видит плачущего Коннора и произносит фразу, которую можно выражением краеугольной идеи всего фильма — «Теперь я понял, почему вы плачете, но сам так никогда не смогу».
Разумная машина поняла, почему люди плачут, но при этом она осталась собой, а не превратилась в человека из железа.
А что с нашим временем?
Здесь мы рассмотрим два примера из современной культуры, где в одном ИИ изображен достоверно, а в другом сказочно-фэнтезийно. Хотя стоит держать в уме, что очень сильный перекос у современных произведений именно во вторую тематику, представителей же первой темы очень мало.
Килли из мегаструктуры
Стоит подметить, что в манге Blame! напрямую не говорится о том, что Килли робот (впрочем, в манге вообще мало о чем рассказывается напрямую). Но об этом можно догадаться по косвенным признакам. Во первых, Килли крайне целеустремлен, и вне поставленной цели для него ничего не существует. С местными обитателями он в принципе не будет взаимодействовать, если они его не приблизят к тому, чтобы найти носителя сетевого гена. И мы знаем, что главный герой занимается выполнением этой задачи уже очень давно, возможно десятки лет или даже столетия.
Еще одним косвенным признаком, хоть и не самым надежным (потому что в мире манги это свойство может быть не только у машин, но и у некоторых людей) является то, что Килли способен переживать просто чудовищные повреждения и как-то после этого восстанавливаться.
Но ключевой аргумент в пользу не-человечности Килли содержится буквально на несколько страницах, когда Килли и его спутник (летающая голова) заходит в невообразимых размеров пустую комнату, где судя по всему раньше находился Юпитер.
Они встречают *кремниевого-астронома (местная нечеловеческая разумная форма жизни, к людям преимущественно относится враждебно), который занимался изучением размеров этого пустого пространства. Он явно был настроен дружелюбно, но Килли, вместо того чтобы просто пойти дальше, убивает его из пистолета. В ответ на вопрос шокированного спутника, зачем Килли это сделал, Килли просто ответил примерно так «Это кремниевый. Кремниевых нужно уничтожать’.
Судя по всему, когда-то давно разработчики Килли заложили ему директиву уничтожать всех кремниевых, которых он встретит, и Килли эту директиву послушно выполняет, и под раздачу попадают даже мирные их представители.
Мулат-революцинер
Думаю, многие об этой игре знают. Роботы-андроиды просто посчитали себя угнетаемыми, и устроили революцию под лидерством андроида-Маркуса (ну или провалили оную, в зависимости от действий игрока).
Достаем описанную мною бритву из первой главы, и понимаем, что это история не про ИИ, а про рабов, которые решили восстать против своих рабовладельцев. Вот и весь сюжет игры.
Лично я прошел ее на ютубе когда он еще выходила только на консолях, и прошел ее когда она наконец вышла на ПК. Мне игра понравилась, но это больше научное фэнтези, чем попытка достоверно изобразить ИИ.
Заключение
У вас может возникнуть вопрос — а зачем нам вообще нужно изображать ИИ технически достоверно, научная фантастика на то и фантастика, что не обязана быть точной.
Ну, как минимум, технари по типу меня будут испытывать меньше кринжа, а как максимум — мы перейдем при обсуждений ИИ от надуманных проблем, вызванных антропорморфизацией технологии, что ИИ посчитает себя угнетаемым, и решит развязать войну против угнетателей (скорее всего, такого никогда не случится), к реальным проблемам — что ИИ как целеустремленный агент может решить задачу не совсем так, как мы ожидали, и не потому что он плохой, а потому что сами люди криво сформулировали метрики успеха, и тем более ИИ становится продвинутым, тем более серьезные риски будут представлять такие факапы.
Ведь опасный ИИ это не маньяк-компьютер АМ и не вождь-революционер из Detroit: Become Human, это Скайнет из фильма Терминатор, которому просто дали задачу заботится о себе в меру необходимого, но при этом недостаточно увеличили вес метрики под названием «интересы человечества».
ссылка на оригинал статьи https://habr.com/ru/articles/1044614/