Внутренний процесс «мышления» модели был прослежен при создании рифмованной поэзии: Claude планировала рифмы заранее, создавая варианты для окончания строки и подбирая предложения, ведущие к ним. Это опровергает мнение о том, что такие ИИ лишь прогнозируют ближайшее слово без более глубокого рассуждения.

Однако учёные подчёркивают, что интроспекция у Claude нестабильна и контекстозависима. Модель часто ошибается, иногда «забывает» о введённых концептах или, напротив, «залипает» на них. В ряде случаев демонстрируются выдуманные детали — конфабуляции, не имеющие настоящего основания.

Руководитель исследования, нейробиолог Джек Линдси, предупреждает, что результаты не означают, что можно слепо доверять внутренним отчётам модели. Однако они открывают новые возможности для повышения транспарентности и подотчётности ИИ: можно задавать модели вопросы о причинах её ответов и получать честные, пусть и не всегда точные, пояснения.

Исследование возникает на фоне растущей заинтересованности в безопасности ИИ — компании стремятся создавать более понятные и управляемые системы. Anthropic поставила цель к 2027 году калибровать и устранять большинство проблем моделей с помощью методов интерпретируемости, делая ИИ более контролируемыми и менее опасными для общества.

Работа даёт представление о том, что примитивное самосознание у языковых моделей уже существует — вопрос в том, как развить и надёжно использовать эти способности ради безопасности и пользы человека.