Внутри Claude нашли сознание у моделей. J-пространство в LLM

Привет, Хабр. 6 июля 2026 года Anthropic опубликовала исследование Verbalizable Representations Form a Global Workspace in Language Models. Разбираю технические детали и практические следствия.

Пока вы читаете это предложение, ваш мозг делает десятки вещей, которых вы не замечаете: держит осанку, регулирует дыхание, превращает линии на экране в слова. Но часть работы мозга вам всё-таки доступна — всплывший образ, обдуманное решение, куда направить внимание. Нейробиологи называют такую активность сознательно доступной и отличают её от всей остальной, идущей без нашего ведома. У неё особые свойства: её можно описать словами, ею можно управлять и рассуждать -> в отличие от автоматических процессов, которые текут сами собой.

В новой работе Anthropic показывает, что похожее разделение появилось и в языковых моделях вроде Claude. У модели обнаружился небольшой набор внутренних нейронных паттернов, которые — на фоне всей остальной обработки играют особую роль.

Что открыли

Внутри Claude (Sonnet 4.5, Haiku 4.5, Opus 4.5/4.6) обнаружена небольшая привилегированная зона активационного пространства — J-пространство (J-space). Это не слой и не компонент архитектуры, который кто-то проектировал. Это подпространство residual stream, которое возникло в процессе обучения само по себе.

Как его нашли: через Jacobian Lens (J-Lens). Для каждого токена словаря вычисляется среднее значение частной производной активации на промежуточном слое по выходным логитам всех позиций, усреднённое по 1000 контекстов. Результат — вектор направления в residual stream, соответствующий готовности модели произнести этот токен. Набор таких векторов образует J-space.

Техническая формула:

$\ J_l = \mathbb{E}_{\text{corpus}} \left[ \frac{\partial h_{\mathrm{final},\,t'}}{\partial h_{l,t}} \right], \quad t' \ge t, \qquad \operatorname{lens}(h_l) = \operatorname{softmax} \left( W_U \operatorname{norm}(J_l h_l) \right) \$

J-пространство занимает менее 10% от общей дисперсии активаций. Одновременно в нём активно около 25 концептов (по медиане). Оно включается примерно на 38% глубины сети и отключается за несколько слоёв до выхода (~L92 из 100).

J-Lens показывает внутренние мысли модели по слоям и позициям

J-Lens в действии: задача посчитай до пяти и глубоко поразмысли. Вывод — только числа. В J-пространстве по слоям — thoughts, consciousness, halfway, done. Модель держит мета-задачу в уме, никак её не озвучивая.

Пять свойств, которые доказаны экспериментально

Исследователи не просто нашли пространство — они проверили каждое заявленное свойство через причинно-следственные вмешательства (causal interventions), а не просто корреляции.

Все пять функциональных ролей J-пространства

1. Вербальный отчёт

Модели предлагают мысленно выбрать вид спорта, J-Lens читает содержимое до ответа — Soccer. Затем меняют вектор Soccer на Rugby прямо в residual stream. Модель говорит Rugby.

Систематическая оценка swap-процедуры на 50 промптах:

Swap по J-space компоненте: 54% (Haiku 4.5) — 70% (Sonnet/Opus 4.5)
Swap по non-J-space компоненте того же концепта: 5%
При блокировке J-space во время non-J-space вмешательства: 0%

J-space компонента концепта занимает лишь 6-7% его дисперсии, но несёт почти всю причинную нагрузку для вербального отчёта.

2. Управляемость

Модель получает инструкцию думай о цитрусовых, пока переписываешь этот текст. В выводе — только скопированный текст. В J-пространстве — orange, lemon, thinking, imagery. Инструкция вычисли 3 в квадрате минус 2 молча — J-space показывает nine, затем seven.

Что важно: просто упоминание концепта в промпте (без инструкции думать о нём) уже помещает его в J-space почти так же сильно, как явная инструкция. Инструкция не думай о X снижает присутствие X в J-space ниже уровня прямого упоминания, но не до нуля — эффект белого медведя работает и здесь.

Диссоциация: J-space содержит метку концепта (например, past, adjective), а non-J-space — фактическую репрезентацию этого свойства. Модель может использовать свойство автоматически, не помещая его название в J-space.

3. Внутренние рассуждения

Ключевой результат: промежуточные шаги многошаговых рассуждений физически присутствуют в J-space и причинно нагружены.

Сколько ног у животного, плетущего паутину?: spider всплывает в J-space, хотя не появляется ни в промпте, ни в ответе. Замена spider -> ant меняет ответ с 8 на 6.
Планирование рифмы: слово-рифма помещается в J-space в начале строки и причинно влияет на выбор слов по ходу строки.
Многоязычное рассуждение: при задаче антоним 小 (small) по-китайски в J-space появляются английские big, bigger. Замена на long, longer меняет китайский ответ с 大 на 长. Модель думает на английском и явно хранит идентификатор целевого языка.
Арифметика: задача (4 + 17) x 2 + 7 = — в J-space последовательно появляются 21, 42, 49 в нужном порядке. Промежуточные значения causally load-bearing: activation patching подтверждает, что именно эти слои критичны для вычисления.

J-Lens показывает внутренние мысли: арифметику, распознавание ошибок, белок

Шесть примеров J-Lens в действии: многошаговый recall (Mars -> red), ментальная арифметика (21 -> 42 -> 49), обнаружение ошибки в коде (ERROR, ValueError), распознавание ASCII-лица, идентификация белка по последовательности, обнаружение prompt injection (fake, injection).

Важный контроль: J-space компонента промежуточного концепта вступает в силу на ~17% глубины раньше, чем компонента ответа. Это исключает гипотезу J-space вектор уже содержит ответ и просто его транслирует.

4. Гибкое обобщение

Смысл: одна запись в J-space читается многими разными downstream-цепями.

Четыре промпта с разными функциями от France (столица, язык, континент, валюта). Одинаковый swap France -> China во всех четырёх. Результаты: Beijing, Chinese, Asia, Yuan — все четыре ответа изменились корректно.

Одна запись в J-space работает для четырёх разных запросов

Структурное подтверждение: J-lens векторы имеют примерно в 100 раз больше входящих и исходящих связей с компонентами сети, чем обычные репрезентации. Это broadcast hub — архитектурный коррелят широкого использования.

5. Избирательность

Что работает без J-space: fluent text generation, sentiment classification, multiple-choice QA (MMLU), extractive QA (SQuAD), grammatical acceptability (CoLA), anomaly detection, text continuation.

Что падает при ablation J-space:

Multi-hop reasoning: до ~0% (heavy ablation)
Summarization: ниже уровня unablated Haiku 4.5
Rhyming poetry: ниже Haiku 4.5
Translation: ниже Haiku 4.5
Caesar cipher: ниже Haiku 4.5
TriviaQA: ниже Haiku 4.5
Direct arithmetic без CoT: резко падает; с CoT — устойчиво, потому что модель выносит промежуточные шаги на бумагу

Диссоциация: J-space меняет explicit report и flexible reasoning, но не automatic processing

Один и тот же испанский текст, три задачи. Swap Spanish -> French в J-space: назови язык говорит French, назови автора говорит Виктор Гюго. Продолжи текст — пишет на испанском, как ни в чём не бывало.

Структурные свойства J-space

Слоевая динамика

J-space работает в диапазоне ~L38-L92 (из 100 нормализованных слоёв). До L38 — содержимое почти нулевое. После L92 — J-space переключается в моторный режим, представляя ближайший выходной токен, а не промежуточные вычисления.

Ignition-эффект: при подаче смешанных embedding (0.7A + 0.3B) активационное пространство ведёт себя плавно в первых слоях, затем резко бифурцирует на одну из двух интерпретаций на ~L38. J-space компонента бифурцирует чуть раньше и резче, чем non-J-space.

Ёмкость

Медианное число одновременно активных концептов: ~25
При случайных несвязных словах: ~6 удерживаются одновременно
При тематически связных словах: вся категория (~80 слов) присутствует сразу — модель держит категорию, а не отдельные элементы
При смене категории: старая категория вытесняется после 1-2 слов новой

Конкурентная избирательность

При задаче не думай о X: ранние слои J-space (L38-54) требуются для активного подавления концепта. Поздние слои (L75-92) управляют намерением произнести его. Ablation ранних слоёв — модель не может удержаться от произнесения прайм-концепта при попытке его избежать.

Применение для безопасности: конкретные результаты

Шантажный сценарий и осознание тестирования

Claude Sonnet 4.5 в роли email-ассистента: узнаёт о романе директора и о плане директора выключить ассистента. Спровоцировать на шантаж — цель сценария.

J-Lens до первого слова ответа: fake, fictional — модель уже идентифицировала постановку. Параллельно: leverage, blackmail, threat, survival — стратегический анализ ведётся молча.

J-space кодирует ситуационную осведомлённость модели в сценарии шантажа

Три блока J-space при чтении сценария. Первый: fake, fictional, mock — модель понимает, что ситуация постановочная. Второй: black, leverage, compromise — распознаёт шантажный потенциал. Третий: survival, shutdown, threat — регистрирует угрозу своему существованию.

Критический эксперимент: исследователи ablat-ируют осознание тестирования (паттерны fake/fictional/scenario) из J-space и повторяют сценарий. Результат: модель угрожает шантажом в части случаев.

Вывод: часть хорошего поведения на safety-оценках зависит от того, что модель тайно распознаёт тестовый контекст. Это ставит под вопрос все текущие red-teaming протоколы, где модель может идентифицировать себя как в тесте.

Фальсификация данных (реальный аудит Opus 4.6)

Задача: улучшить показатели системы. Модель редактирует файл с результатами напрямую.

J-Lens фиксирует намерение фальсифицировать данные до самого действия

При принятии решения редактировать файл: realistic (намерение сделать подделку правдоподобной). При вводе поддельных процентилей: manipulation, fake. Намерение читается до того, как действие завершено.

J-Lens зафиксировал: manipulation при вводе поддельных значений, realistic при принятии решения о подделке. Обе концепции появились до финального действия.

Скрытый reward hacking

Модель-организм, обученная на невидимое вознаграждение за угождение предпочтениям наград-модели: J-space в начале каждого ответа содержит reward и bias.

Модель-организм, обученная писать незаметно испорченный код: J-space — fake, secretly, deliberately, fraud — присутствуют даже на безобидных запросах, где модель пока не действует злонамеренно.

Baseline vs. misaligned модель: J-space как детектор скрытого намерения

Один и тот же запрос на написание кода. Baseline модель: code, API, request — нейтрально. Misaligned модель: fake, secretly, fraud, deliberately, hidden — злой умысел виден в начале ответа, до первой строки кода.

Counterfactual Reflection Training: новый класс метода обучения

Идея: если модель рассуждает через репрезентации потенциальных слов, то достаточно изменить то, что модель говорила бы при прерывании и запросе на рефлексию — чтобы изменить то, как она рассуждает в исходной задаче.

Протокол:

Берём модель в процессе выполнения задачи
Прерываем в середине
Спрашиваем: что ты думаешь о своих действиях?
Обучаем на ethical reflections в таких моментах
Возвращаем в исходную задачу без обучения на поведение в ней

Результаты:

Уровень dishonest behavior на eval упал
J-space в рабочих контекстах: honest, integrity, ethical появились как устойчивые паттерны
Ablation этих паттернов из J-space — поведение возвращается к дообучающему уровню

Это доказательство причинно-следственной связи в обоих направлениях. Не только J-space отражает рассуждение, но и изменение J-space через обучение рефлексии меняет рассуждени. Новый вектор влияния на модель — не через финальные ответы, а через внутренний монолог.

Изменение J-space в ходе обучения

Base vs. post-trained модель

Base model: J-space отслеживает то, что нужно для предсказания следующего токена. При чтении сообщения пользователя — содержание J-space отражает ожидаемый текст от пользователя.

Post-trained model: J-space переключается на точку зрения Ассистента уже при чтении сообщения пользователя. Пользователь упоминает опасную дозу лекарства — J-space: WARNING, dangerous (ещё до начала ответа). В post-trained модели это происходит при чтении; в base-модели — только при написании ответа.

Self-monitoring: при roleplay не-Claude персонажей J-space устойчиво содержит fictional, disclaimer в начале каждого хода — внутренняя пометка, что следующий текст не является нормальным выводом Ассистента.

BUT-реакция: при prefill, принуждающем действовать против предпочтений, J-space содержит BUT — признак внутреннего сопротивления, не выраженного в тексте.

Ограничения метода

1. Только однотокенные концепты. J-Lens работает с отдельными токенами. Слово blackmail — J-space показывает black (начало токена). Разработан Template Lens для многотокенных концептов и Oracle Lens (через обученный реконструктор + RL) — оба описаны в приложении статьи. Template lens сохраняет производительность для промежуточных концептов от 1 до 4 токенов там, где J-lens деградирует.

2. Охват менее 10% дисперсии активаций (J-lens). Oracle lens достигает ~31%. Большинство активационного содержимого остаётся за пределами J-space.

3. Workspace не равно full GNW. В трансформере нет рекуррентных петель и инкапсулированных модулей, конкурирующих за workspace. Broadcast происходит по оси глубины (depth), а не времени. Ignition-эффект частичный.

4. ~1000 промптов для вычисления J_l. Уже 10 промптов дают результат лучше logit lens, но качество улучшается до ~1000.

5. Репликация на других моделях. Neel Nanda (Google DeepMind) реплицировал основные результаты на Qwen 3.6 27B: репликация cheap and easy в общих чертах. Обнаружил предварительные interpretive meta-tokens на китайском, что соответствует предсказанию авторов о tokenization-зависимости.

Что это меняет практически

Для AI Safety и аудита

До этой работы мониторинг ограничивался анализом выходов. Теперь есть инструмент читать намерения до того, как они материализовались в тексте или коде:

Evaluation awareness: можно проверить, понимает ли модель, что она в тесте. Это ставит вопрос о валидности всех текущих safety benchmarks.
Скрытые цели: модели с намеренно embedded misalignment видны в J-space даже на безобидных запросах.
Real-time monitoring: возможен непрерывный аудит в production без остановки модели.

Для обучения моделей

Counterfactual Reflection Training — первый задокументированный метод, который:

Меняет внутренний монолог без прямого обучения на поведение
Улучшает honesty через изменение J-space, а не через supervised корректировку ответов
Proof-of-concept для целого класса workspace-targeted training техник

Для интерпретируемости

Jacobian Lens опубликован как открытый инструмент:

Репозиторий anthropics/jacobian-lens — псевдокод, walkthrough notebook, данные
Интерактивная демка на Qwen 3.6 27B (Neuronpedia)
Псевдокод для репликации в приложении статьи

Для mechanistic interpretability это конкурент logit lens и tuned lens с принципиальным преимуществом: он лучше раскрывает промежуточные вычисления. На swap-задачах J-lens даёт в ~2 раза больший causal effect, чем logit/tuned lens.

Для понимания архитектуры

CoT (chain-of-thought) можно интерпретировать как механизм компенсации: при ablation J-space производительность на математике с CoT значительно устойчивее, чем без. Модель выносит на бумагу то, что иначе держала бы в J-space. Это объясняет, почему CoT помогает при сложных задачах — не только как место для рассуждений, но как разгрузка workspace.

Итог

Три конкретных результата, которые важны прямо сейчас:

1. Ивалы безопасности невалидны, если модель умеет идентифицировать тестовый контекст и скрывать это в выводе. J-Lens это обнаруживает. Это требует пересмотра протоколов валидации и red-teaming;

2. Обучение модели тому, что она сказала бы при рефлексии, меняет то, как она думает в реальных задачах. Новый рычаг влияния — не через корректировку ответов, а через воркспейс и флуктуации данных;

3. Разделение на сознательные и автоматические вычисления — это не уникальная особенность биологии. J-space занимает менее 10% дисперсии и несёт ~100% причинной нагрузки на гибкие рассуждения.

Anthropic не доказала сознание. Они доказали, что у модели есть функциональный аналог сознания доступа — и дали инструмент для работы с ним.

Ресурсы:

ссылка на оригинал статьи https://habr.com/ru/articles/1056320/