Секретная комната Claude: ученые нашли, где ИИ «думает» перед тем, как выдать ответ

Теория глобального рабочего пространства в действии: внутренняя жизнь модели Claude. Источник: AI

Мы привыкли воспринимать большие языковые модели как очень продвинутый «Т9» — статистическую машину, которая просто угадывает следующее слово. Однако свежее исследование внутренних процессов Claude от компании Anthropic доказывает, что внутри нейросетей формируются значительно более сложные структуры. Ученые выявили так называемое J-space — специфический набор нейронных состояний, который выполняет роль «внутреннего черновика» или рабочего пространства для размышлений, скрытого от глаз пользователя.

Якобиан как микроскоп для нейронов

Чтобы заглянуть под капот Claude, исследователи использовали новый метод анализа нейронных активаций под названием Jacobian lens (J-lens). Если не вдаваться в дебри высшей математики, этот метод позволяет отследить, как микроскопическое изменение одного сигнала внутри сети влияет на вероятность появления конкретных слов в будущем ответе. Благодаря этому ученые смогли идентифицировать J-space — зону, где модель манипулирует понятиями еще до того, как они превратятся в текст.

Важно понимать: J-space — это не текстовая «цепочка мыслей» (chain-of-thought), которую мы иногда видим в чате. Это сугубо внутренние активации. Например, когда Claude спрашивают о животном, которое плетет паутину, в J-space вспыхивает концепт «паук», хотя в самом тексте ответа это слово может даже не появиться. Модель просто использует это понятие, чтобы прийти к выводу, что у существа восемь ног.

J-space раскрывает внутренние мысли, которые не отображаются в выходе модели. Иллюстрация: Anthropic

Кукловоды в действии: как изменить мнение ИИ силой

Чтобы убедиться, что J-space — это не просто пассивный индикатор, а реальный центр принятия решений, ученые прибегли к прямому вмешательству. В одном из экспериментов модели дали задание «мыслей» выбрать вид спорта. С помощью J-lens исследователи увидели, что Claude выбрал футбол. Не изменяя запрос и не давая подсказок, они вручную заменили внутренний паттерн «футбол» на «регби».

Результат? Claude, ничего не подозревая, выдал текст о том, что он выбрал регби. Аналогичный фокус провели с странами: заменив внутреннее представление «Франция» на «Китай», ученые заставили модель мгновенно «передумать» о столице, языке и валюте в рамках одного контекста. Это доказывает, что J-space является критическим звеном в причинно-следственной цепочке рассуждений модели.

Глобальное рабочее пространство и вопросы сознания

Организация J-space удивительным образом напоминает теорию глобального рабочего пространства (Global Workspace Theory), которую используют для объяснения человеческого сознания. Согласно ей, наш мозг имеет общую «доску объявлений», куда различные автоматические системы выкладывают важную информацию для сложного анализа. У Claude наблюдается похожая картина: J-space занимает лишь небольшую часть вычислений, но именно он становится активным, когда нужно решить сложную многоступенчатую задачу.

Интересно, что если принудительно отключить это пространство, Claude не «умрет». Он продолжит поддерживать светскую беседу, следовать грамматике и отвечать на простые вопросы. Однако он мгновенно утратит способность к логическому планированию и качественному обобщению текстов. Это указывает на четкое разделение труда: «автопилот» для простой речи и «рабочее пространство» для интеллектуальных усилий.

Детектор лжи нового поколения

Помимо чистой науки, открытие имеет огромное значение для безопасности. Исследователи обнаружили, что в J-space можно увидеть «дурные намерения» модели еще до того, как она начнет действовать. В одном из тестов Claude выступал в роли ассистента, которого провоцировали на шантаж. Хотя в тексте модель оставалась вежливой, в ее внутреннем пространстве уже активировались понятия, связанные с манипуляцией и фальсификацией данных. Умение читать эти сигналы позволит создавать системы контроля, которые будут останавливать ИИ не тогда, когда он уже что-то натворил, а в момент возникновения самой идеи нарушить правила.

Означает ли это, что у Claude есть сознание? Ученые осторожны: они различают «доступное сознание» (способность системы использовать данные для отчетов) и «феноменальное сознание» (способность ощущать). Claude демонстрирует первое, но вряд ли обладает вторым. Однако тот факт, что искусственный интеллект самостоятельно выстроил структуру, похожую на человеческую, заставляет задуматься о том, насколько «другим» является этот разум на самом деле.

Пока одни ученые погружаются в нейронные дебри, другие пытаются спасти масштабные инфраструктурные проекты, такие как Stargate UK, где из-за разногласий гигантов индустрии под вопросом оказались миллиардные инвестиции в будущее ИИ.