Группа исследователей из Колумбийского университета, IBM Research и научно-исследовательского центра Feinstein Institutes for Medical Research провела уникальное сравнение: как искусственный интеллект и человеческий мозг преобразуют звуковые сигналы. Для этого они сопоставили внутренние состояния рекуррентных нейросетей (RNN), обученных распознаванию речи, с активностью мозга 15 пациентов с эпилепсией, которым были имплантированы электроды в слуховую кору.
Во время эксперимента пациенты слушали 30 минут рассказов, а нейросеть обрабатывала те же аудиозаписи. Учёные анализировали, как на каждом этапе — от простых акустических признаков до сложных смысловых конструкций — меняется активность мозга и слои ИИ. Оказалось, что обе «системы» проходят почти идентичную последовательность: сначала выделяют базовые звуковые характеристики, затем фонетические, далее слова и, наконец, смысл.
3.33