Стремительное распространение искусственного интеллекта (ИИ) во всех сферах жизни, от медицины до религии, вызывает всё больше вопросов о принципах его работы. Даже эксперты в области ИИ признают, что внутренние процессы, происходящие в этих «чёрных ящиках», остаются во многом непонятными, несмотря на их применение в критически важных областях.
В качестве решения этой проблемы учёные разрабатывают новые методы изучения ИИ, вдохновлённые биологией. Один из подходов, получивший название «механистическая интерпретируемость», позволяет отслеживать процессы, происходящие внутри ИИ-моделей во время выполнения задач. Разработчики из компании Anthropic создали инструменты, позволяющие визуализировать активность нейросетей, что напоминает использование магнитно-резонансной томографии (МРТ) для изучения работы мозга.