Учёные из Meta* FAIR и Эдинбургского университета создали метод, который позволяет не только определить, насколько корректно рассуждает языковая модель, но и вмешаться в процесс, чтобы исправить ошибку. Подход получил название Circuit-based Reasoning Verification (CRV) и основан на анализе «вычислительных цепей» — подграфов нейронов, которые реализуют скрытые алгоритмы внутри модели.
CRV строит граф вычислений модели и отслеживает, какие связи между признаками активируются при решении задачи. Если структура этих связей указывает на сбой, то метод фиксирует ошибку и может подсказать, где именно произошёл сбой вычислений. Это, по сути, инструмент диагностики, который открывает внутреннюю «механику» модели и позволяет понимать, почему она пришла к неверному выводу.
Чтобы сделать такую «внутреннюю диагностику» возможной, исследователи модифицировали архитектуру LLM — в частности, Llama 3.1 8B Instruct — заменив плотные слои трансформера на обученные транскодеры. Эти компоненты заставляют модель представлять промежуточные вычисления не как непрозрачные числовые векторы, а как набор разреженных признаков. В итоге CRV получает возможность наблюдать, как информация распространяется внутри модели, и фиксировать характерные структурные «отпечатки» правильных и ошибочных шагов рассуждения.
1.04