ИИ и новая игра без правил: о чем рассказал Дарио Амодей?

Недавно вышел интересный подкаст Майка Фромана с генеральным директором и сооснователем Anthropic — Дарио Амодей. Не у всех есть время слушать двухчасовой подкаст, поэтому я расскажу, что важного прозвучало в этом интересном диалоге на мой взгляд.

Кто такой Дарио Амодей и почему его мнение интересно?

Имя Дарио известно в кругах тех, кто  интересуется и серьезно занимается ИИ, а также тем, кто использует claude.ai. Он был вице-президентом по исследованиям в OpenAI и участвовал в разработке GPT-2 и GPT-3. До этого работал в Google Brain. В конце 2020 года он ушел из OpenAI и основал Anthropic — компанию, которая делает ставку на «конституционный ИИ» и безопасность искусственного интеллекта.

Масштабирование ИИ: рост вычислительных мощностей и новый уровень угроз

Один из ключевых инсайтов Амодей — чем больше вычислительных мощностей и данных используется для обучения ИИ, тем лучше они справляются с когнитивными задачами. Это звучит логично, но масштабы этого явления поражают. Уже сейчас модели обучаются на сотнях миллиардов параметров, а бюджеты их тренировки измеряются в миллиардах долларов. С увеличением интеллектуальных возможностей ИИ становится очевидным, что он повлияет не только на экономику, но и на национальную безопасность. Дарио говорит о том, что ИИ-модели непредсказуемы. 

«Я часто говорю, что мы скорее “выращиваем” ИИ, чем «строим». Они развиваются, как детский мозг».

Но если ИИ растет как ребенок, как его контролировать? На этот вопрос у Anthropic есть ответ — попытаться встроить в систему базовые принципы поведения.

Конституционный ИИ: как обучить алгоритмы этике?

Anthropic внедряет принцип «конституционного ИИ» — вместо того, чтобы просто копировать данные из интернета или обучаться на человеческом фидбэке, модели изначально обучаются следовать четкому набору принципов. Это должно сделать их более предсказуемыми и безопасными.

Компания разработала систему уровней безопасности ИИ, которая напоминает биологические уровни безопасности.

• ASL-2 (AI Safety Level 2) — уровень, на котором модели обладают мощными когнитивными способностями, но их риски сопоставимы с существующими технологиями.

• ASL-3 — уровень, при котором ИИ может помочь человеку без специального образования создать химическое, биологическое или радиологическое оружие.

«Если система позволяет неспециалисту делать то, что сейчас под силу только ученым с PhD в вирусологии, значит, она достигла ASL-3. Мы приближаемся к этому уровню. Возможно, достигнем его уже в этом году».

Куда приведет нас рост интеллекта ИИ?

По мнению Амодей, через 2-4 года мы достигнем этапа, когда ИИ станет таким же умным, как нобелевские лауреаты во многих областях. Anthropic уже определила свой вектор: медицина, здравоохранение, нейронаука.

«Мы хотим, чтобы ИИ помог излечить болезни, разобраться в механизмах психических расстройств, а, может быть, даже помочь людям находить смысл жизни».

Звучит как научная фантастика. Дарио говорит о том, что ИИ уже пишет 90% кода в некоторых компаниях, а через год «будет писать практически весь код». Кстати, по мнению его коллеги, Кевина Вейла (CPO OpenAI), это может случится еще быстрее «к концу года кодинг будет автоматизирован если не полностью, то на 99% точно». 

Генеральный директор Anthropic, считает, что очень скоро мы сможем общаться с ИИ как с человеком. Как всегда всех волнует вопрос — а что же делать человеку, когда будет всемогущий ИИ, да еще с «телом» (робототехника не просто не стоит на месте, а несется на бешеной скорости — стремительнее ветра). Кстати, в OpenAI намерены серьезно заняться робототехникой — время внедрять ИИ в физический мир не за горами. 

Что делать человеку в мире, где ИИ умеет все?

На этот вопрос у Anthropic пока нет однозначного ответа. Однако один из весьма неприятных комментариев Амодей звучит так:

«Худший сценарий — если ИИ заменит 50% профессий выборочно. Это вызовет социальный хаос, ведь половина людей вдруг окажется ненужной. Лучше, если это произойдет сразу со всеми».

Получается, что в какой-то момент мы можем получить «контрольный в лоб»: «вы все бесполезны». Дарио верит, что существует позитивный вектор развития: человечество сможет построить мир, в котором биологическая (наша) жизнь сохраняет смысл, даже если ИИ умеет делать все лучше нас (и в том поможет нам ИИ, видимо). На мой взгляд, хрупкая концепция и вопросы рождает простые: «А как именно он поможет? А нам это понравится?». Но оставим пока это в стороне, дальше весьма интересно. По мнению Дарио, сейчас происходят два очень важных процесса. Стоимость создания ИИ-моделей снижается примерно в четыре раза ежегодно, поскольку находятся все более эффективные алгоритмы и архитектуры. А чем дешевле вычисления, тем выше их потенциал. При том объем инвестиций в разработку ИИ только растет — мир жаждет всё более умных и продвинутых моделей.

Гонка вооружений в ИИ: Китай против США

Еще одна важная тема, которую затронул Амодей — геополитическая гонка за ИИ. Китай стремительно догоняет США, и это всерьез беспокоит Америку. По мнению Дарио, DeepSeek — первая китайская модель, которая достигла уровня OpenAI, Google и Anthropic. А значит, США уже не могут считать себя единственными лидерами в этой сфере. В гонке за ИИ главный ресурс – вычислительные мощности. Модели требуют миллионы мощных чипов, и у кого они есть — тот и король.

«Если не остановить Китай в получении суперкомпьютеров, он сможет догнать США. А если это произойдет, то Китай получит военное и экономическое превосходство».

ИИ становится новой политической валютой. И тут возникает вопрос: а смогут ли те, у кого есть эта сила, применять ее этично? Или мы вступаем в эпоху, где ИИ станет инструментом нового глобального доминирования?

Финальный вопрос: кто контролирует, умнее всех?

Развитие ИИ несет в себе неизбежные риски. Будет ли он под контролем – или человечество потеряет контроль над ним? Даже сами разработчики не знают ответа. Дарио говорит, что между компаниями внутри США еще можно представить какие-то механизмы сдерживания, но между государствами ситуация другая. Если две державы гонятся за одной и той же сверхтехнологией, которая может стать ключом к господству, они не остановятся. И вот она сверх угроза для человечества на повестке марта 2025 года — угроза неконтролируемого поведения мощнейших ИИ-моделей. Нельзя полагаться на то, что люди смогут держать этого могущественного джина под контролем, он сломает все преграды, это не вопрос «если», а, скорее,«когда». Амодей считает, что сначала должно случиться что-то масштабное — некий прецедент, и только после этого люди начнут искать решения и будут готовы к сотрудничеству. Вопрос лишь в том, будет ли у нас к тому моменту достаточно времени, чтобы что-то исправить? Боюсь, что пока мы  будем собирать убедительные доказательства реальных рисков, уже опоздаем своими медленными человеческими мозгами и ногами что-то изменить. 

P.S. США планирует усилить экспортный контроль над чипами, внедрять системы оценки рисков, укрепить защиту ИИ-компаний от промышленного шпионажа. При том, ускорять разработки в биомедицине, наращивать инфраструктуру для все более мощных моделей. Напоминает историю про «как справиться с пробками» — давайте построим больше дорог. Пробок стало больше. А давайте еще больше. Что-то есть общее у этой ИИ истории с темой «транспортной», но выглядит посерьезнее.