Предисловие. Статья носит характер философского взгляда на ситуацию с развитием ИИ в мире в пору острых межблоковых конфликтов, когда ИИ становится ключевым импакт-фактором противостояния следующих лет. Это попытка резюмировать ситуацию в короткой форме, как это сложилось у автора настоящей статьи.
Мир ИИ уже вошёл в следующую фазу.
Речь идёт не о моделях, которые быстро отвечают на вопрос в чате. Последние поколения обучаются на ультрадлинных траекториях решения задач: модель способна часами вести одну работу, разбивать её на этапы, пользоваться инструментами, проверять промежуточные результаты, исправлять ошибки и продолжать движение к цели.
Следующий уровень — управление группой агентов. Модель учат руководить множеством копий самой себя или специализированных агентов: раздавать им части задачи, ставить приоритеты, собирать результаты, перепроверять выводы, запускать новые ветви исследования. Здесь ключевую роль играет обучение с подкреплением: PPO, GRPO и более сложные методы, где система учится достигать цели в среде действий, а не просто продолжать текст.
Именно поэтому модели уровня Fable / Mythos становятся качественно иной угрозой. Они знают огромный массив человеческих ошибок благодаря обучению на реальных данных, коде, отчётах, уязвимостях и историях инцидентов. Они помнят, где люди ленятся обновлять системы, какие классы ошибок повторяются, какие конфигурации обычно остаются открытыми, какие процессы организации игнорируют годами.
Одновременно такие системы способны быстро развернуть множество параллельных агентов: одни изучают внешнюю поверхность объекта, другие ищут уязвимости, третьи сопоставляют версии программного обеспечения, четвёртые строят цепочки действий, пятые проверяют найденные ходы. После этого центральная модель сводит результаты в единую операцию.
Если подобная система получает задачу атаковать критическую инфраструктуру, она действует с масштабом и скоростью, которые раньше были доступны только крупным государственным структурам с большими командами специалистов. История с тестированием на DHS показывает сам принцип: когда такая модель начинает успешно вскрывать защищённые государственные контуры, её возможности становятся вопросом стратегической безопасности. Дополнительная проблема — риск повторного вывода модели из ограничений через сложный jailbreak, включая атаки, сформированные самой моделью.
Для России это означает очень простую вещь: угроза уже рядом. Зарубежная агентная система высокого уровня потенциально способна вывести из строя крупный банк, оператора связи, транспортный контур, промышленную систему, государственный реестр или цепочку поставок. Вопрос состоит не в том, появится ли такая возможность, а в том, насколько быстро она станет массовой и дешёвой.
Быстрый защитный ответ придётся строить жёстко: сегментировать сети, изолировать критические контуры, сокращать внешний доступ, возвращать ручные и автономные режимы для жизненно важных процессов, создавать отдельные технологические стеки и защищённые контуры управления.
А причем тут «100 лет назад»? Ответ прост «Проект Манхеттен» и ответ СССР. Только импакт ИИ будет выше. Кратно. Потому, что мы живем в пузыре цифровых технологий, а ИИ влияет впервую очередь на них.
Этого недостаточно для долгосрочной безопасности. России нужна собственная программа ускоренного развития передового ИИ — условный новый атомный проект. Стране требуется суверенная модель стратегического класса, собственная вычислительная база, закрытые данные, агентные системы, полигон для испытаний и сильная школа обучения моделей на сложных задачах.
Нужна команда уровня Курчатова и Берии: люди, которые понимает технологии, способны собрать науку, промышленность, безопасность, разведку, вычислительную инфраструктуру и государственное управление в одну программу. Нужна также жёсткая система межведомственной координации, быстрые решения, защита результатов и персональная ответственность за сроки.
Я считаю, что у России есть шанс пройти этот путь. Сложность состоит в том, что действовать придётся быстро, в условиях технологического давления и привычной нехватки ресурсов. Но именно такие задачи страна исторически умеет решать, когда появляется ясная цель, сильное руководство и общий государственный приоритет.
А что у нас? У нас оперштабы по ИИ и национальный приоритет внедрения ИИ к 2030г. Т.е. через 4 года. А с учетом нашей любви к переносам сроков всего и вся, то может и не 4 года, а все 10 лет. А Мифос и Фейбл работают уже сейчас. Притом, что еще 5 лет назад ИИ только зарождался от архитектуры трансформеров. Пока мы создаем штабы и говорим про приоритеты — конкуренты уже работают имея неограниченный ресурс. Настораживает.
И вот, в конце, я скатился к скрепам и Священному долгу нашей Родины. Не хотел. Не подразумевал. Скорее пытаюсь обратить внимание читателей на то, что дефицит бензина на автоколонках, как и дефицит яицу/гречки/туалетной бумаги — это явления временные. А потерять критическую инфраструктуру, все те крутейшие и удобные сервисы развитые за 15 лет (спасибо Сбер, Яндекс, Госулсуги, Озон и ВБ) будет обидно.
Конечно можно сказать, что у нас есть Алиса и Салют, но именно это пугает еще сильнее. Если мы допускаем, что Алиса — это аналог Фейбл/Мифос, то оковы иллюзий разбить будет очень тяжело. Нужны люди способные говорить правду, прорывные идеи, прикладные продукты и внедрения и общее усилие всех причастных.
ссылка на оригинал статьи https://habr.com/ru/articles/1052810/