Если кто-то его создаст — все погибнут

На русском языке вышла написанная в 2025 книга-предупреждение о катастрофических последствиях развития все более умного ИИ.
Основной темой служит проблема согласованности и прогноз апокалиптической опасности на ближайшие несколько лет.

TL DR: Автор считает, что как только появится ИИ уровня исследователя, он создаст сверхразумный ИИ, а тот найдет способ сконструировать наномолекулярные фабрики на основе «технологий» которые применяются в биологических клетках, которые бы отличались от них настолько, насколько самолет отличается от птицы, и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу. Допускается любой другой сценарий, но если в результате него мы умрем это будет плохо, пнятненько?

Автор — известный исследователь в этой области Элиезер Юдковский, а также Нейт Соарес. Не могу точно ничего сказать о научных работах и плодах деятельности Юдковского (хотя он по крайней мере основатель сообщества LessWrong и автор нескольких научных статей), но для меня это всегда был талантливый писатель, чьи произведения оказали на меня существенное влияние.

Но с некоторых пор я стал слышать и другое мнение. Многие называют этого человека инфоциганом и паникером.
Я и сам несколько подустал от наполненных паникой заявлений, которые этот человек делает по крайней мере с 2020 года.

Я купил эту книгу с намерением снять о ней смешной обзор на ютубе. Такую книгу и саму постановку проблемы хочется высмеять. Чего только стоит цитата на третьей сначала странице:
«В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м году он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна». Ей богу, надеюсь, это просто корявый перевод, а не автор так описал свою продуктивность.
На заднем обороте нас встречают рецензии от, по-видимому, самых авторитетных критиков, к которым можно было обратиться за рекомендацией по вопросам ИИ: пара международных СМИ, а также актеры Стивен Фрай и Марк Раффало. Возможно, все остальные были заняты — делали ИИ.

Открывая книгу, я держал в голове все те вещи, что мы знаем про LLM — что они не умеют думать в том смысле, что мы, что они постоянно ошибаются, галлюцинируют и вообще их предназначение — не думать или решать а просто ставить одну букву впереди другой.

Я отмечал цветными стикерами все места, которые позже планировал использовать как шутки.
Автор книги на полную использует свой потенциал романиста — придумывает красочные метафоры и притчи для пояснения идей очередной главы, и в целом старательно воздействует на эмоции читателя, а не только подбирает рациональные аргументы.

Поначалу многие вещи в целях легкости повествания совсем упрощены — в первых главах применяется слово «рассуждать» по отношению к LLM. Фраза «Способность модели к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов» звучит нелепо — потому что она не не дотягивает, там бездна.

Но у автора есть соображение на этот счет. Не важно, что проиходит в «мозгу» ИИ и назовем ли мы это мышлением. «Управление» — это поиск действий, которые приводят вас к определенному результату — и именно этому человечество активно учит LLM.

Юдковский планомерно доносит свою точку зрения на проблему — рассказывает подробнее обо всем, что имеет значение. Основы работы LLM, преимущества которые у них есть по сравнению с людьми.
К этому правда добавляется ряд панических заголовков 2023-2025 годов, большинство из которых можно описать фразой «ШОК! Нейросеть сБеЖаЛа из лаборатории» или «LLM шантажирует ученого» и которые почти наверняка были изначально предназначены для пиара ИИ-стартапов. А также несколько случаев пугающих галлюцинаций от LLM.

Тем не менее, авторы используют эти случаи как иллюстрацию способности нейросетей иногда обманывать наши ожидания. Иллюстрацию нашей неспособности заглянуть в их мозги.
И учитывая неуклонность донесения авторской мысли в какой-то момент хочется перестать спорить с авторской позицией, потому что мне оно что, надо, доказывать что корпораты не уничтожат землю ради двадцати баксов? Если подумать я готов в это поверить.
Конечно, не хочется признавать победу за тем, кто паникует больше всех. Споры не так решаются. Но эта книга хорошо написана и стала для меня поводом призадуматься.

И с какого-то момента книга реально задевает за живое и наполняет экзистенциальным ужасом, который и не снился Лавкрафту.

Если шанс уничтожения земли новой опасной технологией достигает 10% (такая оценка принадлежит не авторам книги, они думают куда хуже), то это уже повод сделать абсолютно все чтобы остановить разработки новых моделей.

Я предлагаю вам прочитать эту книгу. Это по крайней мере неповторимый опыт по части хорроров, даже если вы считаете автора воздуханом-истеричкой.

PS По поводу актеров-рецензентов
Вот отрывок из, возможно, самой популярной книги Юдковского — и да, это чертов фанфик по гарри поттеру — это реально интересное чтиво кстати говоря:

— Если вы думаете, что в том способе действий, который вы отстаиваете, нет никакой опасности, — сказал Гарри тоном, более резким, чем ему хотелось бы, — то это тоже детские иллюзии!
Он угрюмо уставился профессору Квирреллу в глаза. Тот выдержал взгляд, не мигая.
— Эти опасности, — холодно проговорил профессор Квиррелл, — следует обсуждать в кабинетах, подобных этому, а не в публичных речах. Глупцов, избравших Корнелиуса Фаджа, не волнуют сложности и предостережения. Выйдите к ним с чем‑то более сложным, чем воодушевляющие крики, и вы будете сражаться на своей войне один. Это, мистер Поттер, и была ваша детская ошибка, которую Драко Малфой не допустил бы даже в восемь лет. Даже вам должно было быть очевидно, что следовало промолчать и в первую очередь посоветоваться со мной, а не высказывать свои опасения перед толпой!

Очевидно, что эта мысль запала Юдковскому в душу, ведь сегодняшняя титульная книга — это практически гимн идее об опасности ИИ, а не, например, научная работа. Она обращена ко всем людям, ее язык, посылы и способы их донести — максимально просты.
Похоже, другие способы повлиять на ситуацию у автора закончились.