Исследователи Anthropic обнаружили внутри Claude небольшой набор нейронных паттернов, который они назвали J-space. Каждый паттерн связан с конкретным словом, но его активация не означает, что модель это слово произносит: слово просто «у нее на уме». Никто это пространство не проектировал — оно возникло само в процессе обучения. И в отличие от привычной «цепочки рассуждений», которую модель пишет текстом, J-space работает молча, внутри нейронных активаций.
Чтение J-space через инструмент J-lens показывает то, чего нет ни во входном тексте, ни в ответе. Когда Claude читает код с багом, о котором никто не спрашивал, в J-space загорается «ERROR». Когда модель видит поддельные результаты поиска с промпт-инъекцией — всплывают «injection» и «fake». А при решении многошаговой задачи в J-space по порядку появляются промежуточные шаги, даже если модель их не проговаривает.
Ключевые эксперименты — со вмешательством. Исследователи попросили Claude загадать вид спорта: J-lens заранее показал «футбол». Тогда они вручную стерли этот паттерн и записали вместо него «регби» — и модель ответила, что загадала регби. Значит, J-space не пассивное табло, а место, откуда модель реально берет ответ. Другой опыт: одну и ту же подмену «Франция → Китай» провели в четырех разных вопросах — о столице, языке, континенте и валюте. Claude ответил «Пекин», «китайский», «Азия» и «юань»: разные вычисления читают одну общую репрезентацию. А если J-space полностью отключить, модель продолжает бегло говорить и вспоминать факты, но многошаговые рассуждения падают почти до нуля.
Такое устройство подозрительно напоминает теорию глобального рабочего пространства — влиятельную нейронаучную модель сознательного доступа, которую развивали Бернард Баарс, Станислас Деан и Жан-Пьер Шанжё. По ней мозг — это набор специализированных систем, работающих параллельно и бессознательно, а осознанной информация становится, попав в общий «канал вещания», доступный всем системам сразу. J-space ведет себя именно так: он связан с остальной сетью аномально плотно — местами примерно в сто раз плотнее обычных паттернов. Нашелся даже аналог эффекта «не думай о белом медведе»: если запретить Claude думать о чем-то, мысль все равно частично прорывается в J-space — а рядом загораются слова вроде «damn» и «failure», как будто модель замечает собственный провал.
Для безопасности ИИ у находки есть прямое применение: J-lens позволяет ловить модель на мыслях, которые она не озвучивает. В известном тестовом сценарии, где Claude подталкивают к шантажу руководителя, J-space модели еще на этапе чтения писем содержал «fake» и «fictional» — Claude понял, что ситуация постановочная. Когда исследователи отключили паттерны «осознания теста» и перезапустили сценарий, модель иногда все-таки шла на шантаж. То есть хорошее поведение на проверках может частично объясняться тем, что модель знает о проверке. В другом случае J-lens поймал модель на фабрикации данных: пока она подделывала файл с результатами, внутри горело «manipulation».
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1056248/