Anthropic хочет, чтобы компании, занимающиеся разработкой ИИ, рассмотрели возможность попридержать скорость развития
В новом предложении по политике Anthropic утверждает, что ведущим лабораториям разработки ИИ, возможно, потребуется координированная и проверяемая приостановка ускорения, если возможности ИИ начнут развиваться быстрее, чем общество сможет безопасно это управлять. Примечательно, что это заявление Anthropic сделано в свете недавней официальной подачи документов на IPO и его огромной рыночной оценки.
Anthropic urges AI labs to pause development, warns humans risk losing control
Ladybird прекратила приём публичных pull requests после «вайб-кодовой волны»
Ladybird теперь не будет принимать публичные pull requests, заявив, что ИИ разрушил старую модель доверия в открытом коде (OSS), в которой существенное изменение кода подразумевало значительные человеческие усилия и ответственность. Это очередной крупный проект, который «придерживает скорость» приёма PR из-за волны агентного ИИ.
Microsoft обновляет свою таксономию сбоев агентов в свете реальных атаках
Microsoft’s AI Red Team обновил свою таксономию сбоев агентов после года работы, добавив семь категорий: компрометация агентной цепочки поставки, перехват цели, эскалация доверия между агентами, визуальные атаки при использовании компьютера, загрязнение контекста сессии, злоупотребление MCP/плагинами и раскрытие возможностей.
Updating the taxonomy of failure modes in agentic AI systems: What a year of red teaming taught us
Исследователи предупреждают: агентные черви переходят от теории к PoC
Исследователи из Университета Торонто, Vector Institute, ServiceNow и Кембриджа создали proof-of-concept адаптивного ИИ-worm, который может reasoning через среды, искать уязвимости и секреты, а также генерировать exploit-программы во время распространения. Главный вывод: традиционные черви использовали один известный путь; агентные черви адаптируют путь, пока они по нему идут.
Anthropic заявляет, что Claude теперь пишет более 80% продакшн-кода
Anthropic говорит, что сгенерированный ИИ код теперь составляет более 80% кода, интегрированного в её продакшн-системы, а инженеры выпускают гораздо больше кода, чем в 2024 году. Ещё одно подтверждение, что ведущие лаборатории используют всё больше ИИ для ускорения собственных циклов разработки ИИ на раннем этапе рекурсивного самосовершенствования (и систем, которые пишут сами себя?).
Подпишитесь на канал Agentic Enterprise — о жизни агентов в кровавом энтерпрайзе
ссылка на оригинал статьи https://habr.com/ru/articles/1045126/