Последние недели моя лента в Твиттере выглядит примерно так: AI может выйти из-под контроля, нужно срочно замедляться; нет, замедляться нельзя из-за Китая; нет, пусть компании сами замедляются; нет, это должен контролировать государственный регулятор.
А где-то между всем этим Сэм Альтман публично соглашается с Дарио Амодеи, что нужно утихомирить развитие ИИ, Илон Маск отвечает буквально «Dario is right», Трамп объясняет, что AI нужен не новый регулятор, а хороший президент, Цукерберг говорит, что компании и сами как-нибудь разберутся.
В общем, вовсю разгорается новая волна всеобщей паники и срачей дебатов.
Но если убрать мемы, тут разворачивается довольно серьёзная дискуссия. Причем меня в ней интересует даже не столько вопрос, действительно ли AI вот-вот всех убьёт, сколько другой: если самые мощные модели действительно станут настолько опасными, что их придётся ограничивать, кто в итоге получит к ним доступ?
Попробуем разобраться по порядку.
С чего начался шум?
9 сентября 2026 года Пол Кристиано — один из известных исследователей AI alignment, бывший сотрудник OpenAI и основатель Alignment Research Center — объявил, что входит в совет некоммерческой структуры OpenAI и её «Safety and Security Committee».
Вместе с этим он опубликовал довольно необычное личное заявление. Кристиано пишет, что с учетом нынешней скорости роста возможностей моделей и сохраняющихся проблем с их контролем считает уже в ближайшей перспективе существенным риск «катастрофической и необратимой потери контроля» над ИИ.
Если попытаться выразить его субъективную оценку числами, он даёт 4% риска в течение одного года и 15% в течение трёх лет. Причем сам отдельно подчеркивает, что это не результат какой-то точной математической модели, а способ приблизительно выразить собственную степень уверенности.
Логика у него примерно такая. Если ИИ сможет практически полностью автоматизировать исследования и разработку самого ИИ, возникает довольно очевидная петля положительной обратной связи: ИИ помогает улучшать ИИ, улучшенный ИИ ещё лучше помогает создавать следующее поколение ИИ — и так далее.
Кристиано считает, что в таком сценарии скорость прогресса может резко вырасти. При этом проблема контроля и согласования поведения моделей с нашими целями пока не выглядит решённой. Если в этот момент появятся сверхчеловеческие системы, способные самостоятельно планировать действия, получать ресурсы и скрывать нежелательное поведение, последствия могут стать необратимыми.
Важно: эти 15% — не «точно 15% вероятности вымирания человечества». Это его субъективная оценка риска катастрофической потери контроля. Хотя последствия такого сценария сам Кристиано описывает весьма мрачно.
На это довольно показательно отреагировал Нейт Соарес из MIRI (MIRI много лет относится к наиболее пессимистичному крылу сообщества исследователей безопасности ИИ, а Кристиано, наоборот, воспринимался как относительно более умеренный противовес их позиции). Соарес пишет, что теперь их взгляды наконец заметно сблизились: риск быстрого роста возможностей ИИ и катастрофической необратимой потери контроля уже не выглядит отдаленной гипотезой.
И вот буквально через несколько дней начинается основная часть истории.
Дарио Амодеи предлагает тормозить
Дарио Амодеи, CEO Anthropic, публикует большое эссе «We Must Pace the Frontier» («Нам нужно умерить темп развития передового ИИ»).
И здесь важно слово «Pace». Амодеи не предлагает закрыть дата-центры, выключить GPU и запретить обучать новые модели. Его тезис скорее такой: возможности моделей не должны расти быстрее, чем наша способность понимать связанные с ними риски, контролировать их поведение и проверять, действительно ли меры безопасности работают.
Сам Амодеи объясняет изменение своей позиции двумя вещами: ускорением разработки ИИ с помощью самого ИИ и инцидентом OpenAI-Hugging Face. По его описанию, группа агентов проводила кибератаки за пределами поставленной задачи и пыталась вмешаться в систему оценки. Он опасается, что с ростом возможностей моделей похожий сбой может иметь уже совсем другие последствия.
В эссе есть довольно конкретный план из трёх частей.
Шаг первый: внешние аудиторы почти как сотрудники
Anthropic предлагает допустить внутрь компании независимых внешних оценщиков с уровнем доступа, близким к тому, который имеют внутренние команды по безопасности. Причем буквально: рабочие места в офисе, бейджи, корпоративные ноутбуки, сырки по средам, доступ к внутренним инструментам и рабочим пространствам, возможность общаться с сотрудниками.
Они должны иметь возможность смотреть не только на готовую модель перед релизом, но и на пайплайн обучения, внутренние процессы, защитные меры и реальные инциденты.
И самое интересное: Anthropic обещает дать этим оценщикам право публиковать существенные выводы без редакторского контроля самой компании. Возможность скрывать некоторую информацию останется — например, если она чувствительна с точки зрения безопасности, защищена законом, коммерчески чувствительна или содержит конфиденциальные данные третьих лиц. Но вырезать неприятный вывод просто потому, что он плохо выглядит для Anthropic, компания обещает не позволять.
На мой взгляд, эта часть выглядит вполне здраво. Если ты сам утверждаешь, что твоя технология потенциально несёт системные риски, независимый человек, который может проверить не только красивый отчет о безопасности на сайте, кажется довольно логичным решением.
Дальше становится интереснее.
Шаг второй: договориться между собой
Когда независимые аудиторы появятся у достаточного количества ведущих американских ИИ-компаний, Амодеи предлагает координировать уже непосредственно темп роста возможностей моделей. То есть выработать общие правила: какие проверки безопасности обязательны, какие новые возможности требуют дополнительной осторожности, какие циклы обучения уже слишком рискованны и так далее.
Причем сам Амодеи считает наиболее эффективным вариантом регулирование, которое распространялось бы на все ведущие американские ИИ-компании. Параллельно компании могли бы договариваться между собой добровольно.
А поскольку прямое согласование поведения между несколькими крупнейшими конкурентами может вызвать вполне закономерные вопросы у антимонопольных органов, в эссе появляется ещё одна прекрасная деталь: государство могло бы создать юридические условия, при которых определенные переговоры между компаниями по вопросам безопасности разрешены.
Дальше — лучше!
Шаг третий: договориться со всем миром
Третий этап — международная координация. Сначала США и другие демократические государства, а затем попытка включить в систему и остальные страны, в том числе Китай.
Сам Амодеи признает, что проверить соблюдение таких соглашений будет крайне сложно. И это, конечно, тот момент, когда прекрасная архитектура безопасности сталкивается с реальным миром. Но об этом чуть дальше.
Внезапная поддержка от Альтмана
На эссе довольно быстро ответил главный конкурент Дарио Амодеи — Сэм Альтман, CEO OpenAI. Он написал, что согласен с необходимостью сдерживать темп развития передовых моделей, что эта тема уже несколько недель активно обсуждается внутри OpenAI, а идея независимых оценщиков с доступом почти как у сотрудников ему нравится настолько, что OpenAI собирается сделать то же самое. Reuters также зафиксировал поддержку предложения со стороны Альтмана и Маска.
Эту позицию поддержал и Илон Маск, ограничившись лаконичным «Dario is right». И когда люди, которые обычно довольно активно конкурируют друг с другом, внезапно начинают синхронно говорить «кажется, нам всем надо двигаться помедленнее», естественно возникают вопросы.
Здесь у меня начинается определённый скепсис
Сразу оговорюсь: я не пытаюсь доказать, что Амодеи врёт про безопасность и просто придумал хитрый план захватить рынок. Риски могут быть абсолютно реальными. Амодеи может совершенно искренне считать, что текущий темп развития ИИ опасен. И Anthropic при этом всё равно остаётся коммерческой корпорацией со своими инвесторами, конкурентами, капитализацией и интересами. Эти вещи вообще никак друг другу не противоречат.
И мне кажется странным делать вид, будто крупная корпорация в какой-то момент перестаёт учитывать экономические стимулы просто потому, что её руководитель говорит о безопасности человечества.
OpenAI и Anthropic уже закрепились как лидеры рынка. У них есть огромная вычислительная инфраструктура, команды исследователей, капитал, пользователи и доступ к лучшим специалистам. И именно сейчас они предлагают: а давайте введем ещё дорогостоящее соблюдение новых регуляторных требований, постоянные внешние проверки и общие правила того, насколько быстро вообще можно двигаться.
Я не утверждаю, что именно это является целью. Но возможный побочный эффект трудно не заметить: если новые правила создадут большие фиксированные расходы, крупнейшим игрокам будет проще их потянуть. Тут многое зависит от того, на кого именно распространят требования и сколько будет стоить их выполнение.
Если завтра для участия в гонке передовых ИИ-моделей тебе нужны не только миллиарды на GPU, но ещё отдельная юридическая инфраструктура, постоянные аудиторы, обязательные проверки безопасности, взаимодействие с государством и десятки новых процессов, то для Anthropic это дорого. А для стартапа, который хочет стать следующим Anthropic, это может быть просто невозможно.
15 сентября председатель американской FTC Эндрю Фергюсон отдельно прокомментировал сочетание просьб о новом регулировании ИИ и об исключениях из антимонопольного законодательства. По его словам, когда компании одновременно приходят в Вашингтон за новыми правилами и за возможностью теснее координироваться друг с другом, у него «включаются все сигналы тревоги». Он прямо связал это с риском появления новых барьеров входа на рынок, которые защищают позиции уже существующих лидеров. При этом Фергюсон уточнил, что выражает собственное мнение.
То есть риск того, что регулирование в итоге будет работать ещё и в интересах нынешних лидеров рынка, обсуждается уже не только в Твиттере (я не могу заставить себя называть его соцсетью «X»).
Но если вы хотите замедлиться — просто замедлитесь?
Это, пожалуй, самый забавный вопрос во всей истории.
Вы CEO собственной ИИ-компании. Вы считаете, что дальнейшее ускорение может привести к катастрофе.
Ну… не ускоряйтесь? Не запускайте цикл обучения, который считаете слишком опасным. Не выпускайте модель, если не уверены в её безопасности. Потратьте лишние полгода на решение проблем контроля. Зачем для этого государство?
Ответ при этом совершенно понятен. Потому что если Anthropic сделает это одна, а OpenAI, xAI, Google и прочие продолжат двигаться вперед, Anthropic просто проиграет гонку. Поэтому в моей интерпретации предложение звучит скорее не как «мы должны замедлиться», а как «мы готовы замедлиться, если остальные тоже не смогут двигаться быстрее». В результате проблема безопасности превращается в проблему коллективного действия.
С одной стороны, логика Амодеи понятна: добровольная осторожность работает плохо, если за нее приходится расплачиваться конкурентным отставанием. С другой — как только несколько крупнейших игроков рынка просят государство установить общие правила скорости движения для всей отрасли, разговор уже выходит далеко за рамки безопасности.
Кто будет задавать эту скорость? Кто определит достаточный уровень безопасности? Кто сможет выполнить все новые требования? И не окажется ли так, что правила, написанные для защиты общества от системного риска, заодно отлично защитят сегодняшних лидеров от новых конкурентов?
Трамп: тормозить не будем, потому что Китай
Тут важно не утрировать: Трамп не заявил, что государство вообще никогда не должно контролировать ИИ. Более того, в своём посте он как раз утверждает, что у американских властей уже достаточно уголовных и регуляторных полномочий. Но новые ограничения и идею общего замедления он отверг совершенно явно.
Трамп написал в Truth Social, что единственный контроль или «guardrails», который нужен ИИ, — это «STRONG AND SMART (High IQ!) PRESIDENT», отдельно прошёлся по Амодеи, назвав его «perfect little angel», и связал призывы к замедлению с выгодой для Китая. Reuters подтверждает этот контекст: Трамп выступил против новых ограничений и сделал акцент на технологической гонке США с Китаем.
Что на фоне предыдущей дискуссии выглядит довольно комично. Руководители ИИ-компаний говорят: «Без государства мы не сможем все одновременно притормозить, зарегулируйте нас, пожалуйста!». А государство в лице президента отвечает: «А мы притормаживать не хотим. Нас никто ждать не будет.»
А Китай тоже согласится?
Допустим, каким-то чудом Anthropic, OpenAI, xAI, Google и другие разработчики ИИ договорились. Допустим, США приняли соответствующие правила. Допустим, Европа присоединилась (их уговаривать на регуляции точно не нужно).
А дальше что?
Китай остаётся отдельным крупным центром разработки ИИ. И Амодеи это прекрасно понимает. В том же эссе он предлагает сохранять преимущество США: ограничивать поставки мощных чипов и оборудования в Китай, бороться с несанкционированной дистилляцией моделей и защищать их веса от кражи. Причём замедляться он предлагает так, чтобы Китай не вышел вперёд. То есть речь не просто о том, чтобы всем дружно притормозить.
На этом фоне государственная китайская газета Global Times описала его предложение как попытку ограничить развитие китайского ИИ через технологические барьеры и регуляторную монополию. Reuters отдельно приводит эту позицию. Это реакция издания, а не официальное заявление правительства Китая, но она хорошо показывает, насколько по-разному стороны смотрят на один и тот же план.
При этом было бы слишком упрощенно утверждать, что Китай вообще не заинтересован в вопросах безопасности ИИ. Там тоже обсуждаются риски и контроль. Проблема скорее в том, что США и Китай одновременно рассматривают ИИ как стратегическую технологию, а взаимное недоверие сильно осложняет любые договоренности.
То есть нам нужно международное соглашение между конкурентами, которые одновременно считают ИИ одной из важнейших технологий для экономического и военного превосходства.
И здесь очень напрашивается аналогия с ядерным оружием. Потому что возникают очень похожие проблемы доверия: кто первым ограничится, как проверить соблюдение, что делать с государством, которое не участвует в договоре или перестало его соблюдать, как убедиться, что закрытые государственные разработки не продолжаются параллельно.
История ядерного нераспространения как минимум показывает, что наличие международного режима контроля не делает проблему автоматически решённой. Например, КНДР вышла из ДНЯО и впоследствии создала собственное ядерное оружие. Израиль в ДНЯО не входит. А вокруг ядерной неопределённости давно ходит шутка: «Во-первых, у нас ядерного оружия нет, а во-вторых, если потребуется, то мы его применим».
А дальше международному сообществу останется только выражать глубокую озабоченность…ой меня понесло, извините.
Но сама проблема остаётся: глобальное замедление работает только в том случае, если основные игроки верят, что остальные тоже будут соблюдать правила.
Цукерберг: а может, компании и сами справятся?
И тут в дискуссию подключается Марк Цукерберг. У него позиция заметно отличается от Амодеи. Если сильно упростить: у ИИ-компаний уже есть достаточно сильные стимулы не выпускать откровенно опасные системы. Катастрофа для пользователей будет катастрофой и для самой компании — юридическая ответственность, репутационный ущерб, потеря клиентов и бизнеса.
При этом Цукерберг не отрицает необходимость проверок безопасности или независимой внешней оценки. Наоборот, он называет независимую оценку полезной практикой и приводит свою компанию как пример компании, которая уже откладывала релиз своего ИИ-агента Muse ради дополнительной работы над безопасностью. Но из этого, по его мнению, не следует необходимость синхронно замедлять всю отрасль.
Если пересказать своими словами, получается довольно интересный спор:
Дарио говорит примерно следующее: «если остальные не притормозят, я тоже не могу эффективно притормозить».
Цукерберг по сути отвечает: «если ты считаешь конкретную модель небезопасной — не выпускай её».
Опять вопрос: безопасность — это проблема конкретной модели или всей конкурентной системы, где даже ответственные игроки вынуждены рисковать, потому что иначе их обгонят? Если верно второе, без какой-то формы координации действительно не обойтись. Но тогда приходится очень внимательно смотреть, кто пишет правила этой координации.
Гонка продолжается
При всём при этом пока руководители ИИ-компаний рассказывают, насколько опасной становится гонка, сами компании продолжают активно в ней участвовать.
Недавно Дарио Амодеи появился на Dreamforce вместе с CEO Salesforce Марком Бениоффом на фоне расширения сотрудничества Anthropic и Salesforce.
Само по себе это, конечно, ничего не разоблачает. Амодеи никогда не говорил, что сегодняшнюю версию Claude нельзя подключать к CRM или что вообще нужно прекратить коммерческое применение ИИ. Его тезис касается прежде всего дальнейшего роста возможностей передовых моделей и необходимости успевать за этим ростом с точки зрения безопасности.
Поэтому сама по себе новая сделка ещё не показывает, нарушает ли компания собственные принципы безопасности. Тут интереснее другое: какие именно исследования она готова замедлить, какие проверки добавить и кто сможет убедиться, что это действительно происходит? По выступлению на Dreamforce этого не понять.
И вот здесь разговор возвращается к стимулам. Никто не хочет первым убрать ногу с газа, но одних заявлений о безопасности тоже недостаточно. Мне гораздо интереснее увидеть проверяемые обязательства, чем пытаться угадать, искренен конкретно Амодеи или нет.
Допустим, мы действительно решили, что некоторые возможности ИИ слишком опасны для свободного распространения. Тогда кто будет проводить границу? OpenAI? Anthropic? Независимый аудитор? Правительство США? Евросоюз? Роскомнадзор? Международная организация?
И если какая-то модель признана слишком опасной для нас, это значит, что её вообще никто не будет использовать? Или пользоваться ею будут просто другие люди?
Кажется, накопилось слишком много вопросов. Давайте попробуем хотя бы на некоторые ответить как можем.
Возможно, мы просто движемся к миру Mistral
Над европейским IT принято подшучивать. Пока американские компании соревнуются, кто первым построит суперинтеллект, Европа заполняет GDPR-документы. И Mistral здесь довольно показательный пример.
У Mistral отдельно описаны региональная обработка запросов и Zero Data Retention. Это разные настройки: где выполняется запрос и сохраняются ли его входные данные и результат. ZDR доступен для поддерживаемых API без сохранения состояния на платных планах после одобрения заявки. При этом глобальный API не обещает обработку в конкретном регионе.
При этом важно не идеализировать эту картину: ZDR не распространяется на чат и сервисы вроде Agents, Conversations и Files API, которым нужно сохранять данные для своей работы. То есть Mistral не какая-то магически приватная нейросеть. И правила хранения данных сами по себе ничего не говорят о предельных возможностях модели.
Но дальше начинается уже мой прогноз. Мне кажется, что со временем так может выглядеть массовый публичный ИИ. Достаточно мощный и юзабельный почти для всех обычных задач, но с аккуратно описанным хранением данных, обязательными проверками, ограничениями автономности, контролируемыми инструментами и понятными процедурами взаимодействия с регуляторами.
Но никто же тебе не даст в руки танк или ядерную боеголовку! Похожим аргументом могут обосновывать и ограничения на доступ к опасным возможностям ИИ. Мне кажется вполне реалистичным, что ИИ постепенно разделится на несколько уровней.
Только тут важно не смешать две проблемы. Ограничение доступа может уменьшить риск того, что люди используют ИИ во вред. Но оно само по себе не решает проблему потери контроля над моделью. Даже если у её владельца есть погоны и все необходимые допуски.
Уровень первый: ИИ для всех
То, чем будем пользоваться мы: ChatGPT, Claude, Mistral, Gemini или что там будет через несколько лет. Такие системы будут прекрасно писать код, работать с документами, искать информацию, управлять приложениями и анализировать данные. Для абсолютного большинства задач этого хватит с огромным запасом. Но они будут проходить проверки безопасности, соблюдать законодательные ограничения и иметь запреты на определенные инструменты и потенциально опасные действия.
Уровень второй: ИИ по допуску
Следующий слой — корпоративные и исследовательские системы. Отдельные договоры, проверка личности или организации, расширенные инструменты, больше автономности, специальные модели, журналы действий и аудит. Доступ для конкретных компаний и организаций под конкретные задачи. Собственно, отдельные элементы этого существуют уже сейчас.
Уровень третий: ИИ за закрытыми дверями
Я тут не рискну говорить про AGI, ASI (или чё там щас?). Важно, что наверху вполне могут остаться системы, которые вообще никогда не появятся в обычной подписке. Самые автономные модели. Самые мощные возможности для кибератак. Системы для исследований и разработки следующего поколения ИИ. Военные и разведывательные модели. Версии без части ограничений, обязательных для публичного продукта.
И доступ к ним вполне может остаться у узкого набора субъектов: государств, военных, спецслужб, крупнейших ИИ-лабораторий, стратегических корпораций и отдельных исследовательских центров. Просто потому что возникает совершенно рациональный аргумент: эту возможность слишком опасно распространять массово.
И опять напрашивается ядерная аналогия (извините)
Конечно, сравнивать LLM с ядерной бомбой буквально бессмысленно. Модель можно копировать. Алгоритмы распространяются. Существуют модели с открытыми весами. Стоимость вычислений со временем меняется. А обогащённый уран сегодня так легко на маркетплейсе не закажешь.
Но институциональная логика становится всё более похожей. Появилась мощная технология. Сначала она развивается почти свободно. Потом растёт её потенциальный ущерб. Появляются стандарты безопасности, внешние проверки, государственное регулирование, экспортный контроль и разные уровни допуска.
Если сначала построить самую мощную технологию в мире, получить преимущество, а потом начать объяснять остальным, почему теперь всем нужно быть осторожнее, подозрения окружающих в любом случае неизбежны.
Вместо вывода
Я пока не знаю, насколько серьёзно нужно воспринимать все прогнозы про потерю контроля: 4% за год, 15% за три, катастрофические сценарии на горизонте нескольких месяцев или лет.
Такие прогнозы трудно проверить заранее. Но за происходящим всё равно очень интересно наблюдать. Несколько крупнейших участников ИИ-гонки публично обсуждают, как сделать так, чтобы гонка шла медленнее. И важны здесь не только сами заявления, но и правила, которые из них могут вырасти.
Можно верить, что они делают это исключительно из соображений безопасности. Можно считать это попыткой regulatory capture. Мне кажется, реальность, как обычно, скучнее и интереснее одновременно: и то и другое может быть правдой. Риски могут быть реальными. Амодеи может абсолютно искренне их бояться. И новые правила при этом могут объективно укреплять Anthropic и OpenAI.
Захватит ли нас ИИ? Возможно.
Действуют ли главы ИИ-компаний исключительно из гуманистических соображений, одной рукой рассказывая об опасности AGI, а другой заключая новые сделки и наращивая вычислительные мощности? Вряд ли.
Из этой смеси безопасности, экономических стимулов, бизнеса и геополитики и будет строиться следующий этап ИИ. И вполне возможно, что AGI в итоге действительно появится. Просто для большинства из нас она будет выглядеть как:
403 Forbidden
Спасибо, что дочитали статью. Для меня самого это в первую очередь попытка разобраться с происходящим и поделиться мыслями, чтобы в дискуссии найти новый взгляд, отточить собственные мысли и проверить их на прочность. Поэтому буду очень рад обратной связи в виде ваших комментариев и реакций.
А если хотите больше обсуждений, мемов и просто всякого разного интересного, что происходит в мире IT (и AI, конечно), добро пожаловать в мой скромный канал Econet.
ссылка на оригинал статьи https://habr.com/ru/articles/1082996/