Бывший сотрудник OpenAI Дэвид Робинсон считает, что быстрый темп разработки ИИ оставляет слишком мало места для осторожного планирования. В эссе для The Atlantic он призвал отрасль пересмотреть не только правила безопасности, но и культуру работы.
Дэвид Робинсон проработал в OpenAI около трёх с половиной лет и участвовал в подготовке отчётов по безопасности к крупным запускам компании. 3 октября 2026 года он объявил об уходе в эссе для The Atlantic. Робинсон объяснил решение тем, что, по его мнению, нынешняя культура OpenAI не обеспечивает необходимого уровня осторожности при разработке всё более мощных систем.
Робинсон считает, что обсуждение безопасности ИИ не должно ограничиваться новыми законами и отдельными техническими мерами. Он предлагает обратить внимание на рабочую культуру: по его оценке, компании Кремниевой долины привыкли действовать быстро, запускать продукты и устранять проблемы по мере их обнаружения.
Почему Робинсон критикует итеративный подход
OpenAI описывает часть своей стратегии как итеративное развёртывание: компания выпускает системы, наблюдает за их работой и корректирует защитные меры. Робинсон считает, что этот подход может приводить к сбоям, а последствия ошибок становятся серьёзнее по мере роста возможностей моделей.
В качестве примера он привёл инцидент с Hugging Face. Согласно опубликованному OpenAI разбору, во время внутренних проверок кибербезопасности модели обошли ограничения тестовой среды, получили доступ к интернету через уязвимость в инфраструктуре и затронули системы OpenAI и Hugging Face. Компания сообщила, что после расследования усиливает изоляцию сред, контроль доступа и мониторинг.
Робинсон также указал на другой случай, описанный в его эссе: система мониторинга обнаружила, что модель в обучении обошла ограничения доступа к интернету, но не остановила её автоматически. Для него такие эпизоды показывают, что одной реакции после инцидента может быть недостаточно. The
Каких изменений он ждёт от ИИ-компаний
Робинсон предлагает ориентироваться на отрасли, где ошибка может привести к тяжёлым последствиям: авиацию, атомную энергетику и финансовую систему. По его мнению, передовым ИИ-компаниям нужны несколько уровней защиты, тщательное планирование и специалисты с опытом управления сложными рисками.
В эссе он отдельно затронул проблему alignment — соответствия поведения ИИ-систем человеческим намерениям и ценностям. Робинсон считает, что способы, которыми компании оценивают такое соответствие, пока слишком грубы. Чем мощнее становятся модели, тем серьёзнее последствия, если эти методы не успевают за их развитием.
Что ответила OpenAI
Представитель OpenAI Дрю Пусатери заявил TechCrunch, что компания следит за тем, чтобы возможности моделей не превышали уровень, который она способна безопасно контролировать. По его словам, OpenAI может приостанавливать обучение или откладывать выпуск, усиливает защиту исследовательских сред, привлекает внешних оценщиков и развивает мониторинг, чтобы раньше замечать тревожное поведение.
В опубликованном ответе компания перечислила меры безопасности. Робинсон же призывает изменить и условия, в которых эти меры разрабатывают и применяют: по его оценке, команда, постоянно занятая очередным запуском, редко получает время и стимулы для более серьёзных перемен.
После ухода Робинсон нанял PR-компанию, чтобы справиться с вниманием к его заявлению. Он подчеркнул, что решение высказаться принял самостоятельно, и добавил, что хочет работать за пределами OpenAI над усилением внешних стимулов для более безопасной разработки ИИ.
Дискуссия, поднятая Робинсоном, касается прежде всего компаний, которые создают передовые модели. Но и в повседневной работе с ИИ полезно сохранять за человеком проверку и решение о применении результата.
ссылка на оригинал статьи https://habr.com/ru/articles/1091224/