Оказалось, что на ранних этапах обучения нейросеть выстраивает понимание предложений на основе положения слов. Например, в английском языке порядок «подлежащее — глагол — дополнение» часто сохраняется, и нейросеть это улавливает. Но по мере накопления обучающих данных модель неожиданно меняет стратегию: она начинает опираться на смысл слов, а не их порядок.

Это переключение происходит резко и без промежуточных состояний. Исследователи описывают его как фазовый переход — в духе того, как вода при определённой температуре мгновенно превращается в пар. Ниже критического объёма данных модель полагается только на позиции, выше — исключительно на значение слов.

«Мы хотели просто изучить, какие стратегии выбирает сеть, — рассказывает Хуго Цуй, постдок из Гарварда и главный автор статьи. — Но результат оказался неожиданным: модель в один момент полностью отказывается от одной стратегии и переходит к другой».

Подобные резкие переходы хорошо известны в статистической физике, где сложные системы из миллионов частиц описываются коллективным поведением. Нейросеть — тоже система из множества взаимосвязанных узлов (нейронов), чьё «интеллектуальное» поведение возникает из взаимодействия этих элементарных компонентов. Поэтому, считают авторы, подходы из физики можно применить и к пониманию работы ИИ.

Понимание того, при каких условиях модель «переключается» между стратегиями, может в будущем помочь сделать нейросети более предсказуемыми, эффективными и безопасными.