Когда-то полезный ИИ может превратиться в источник проблем. Ученые из Университета Джорджа Вашингтона этот момент смогли предсказать с помощью математической формулы. Их исследование раскрывает, как вычислить критическую точку перехода ИИ от надежного помощника к неуправляемому «мистеру Хайду».

По словам профессора Нила Джонсона, «переломный момент» наступает, когда ИИ перегружается информацией, теряет фокус и начинает выдавать ошибочные или выдуманные данные — так называемые галлюцинации. Разработанная формула, основанная на скалярных произведениях векторов, учитывает содержание запросов и особенности обучения модели, позволяя точно определить шаг, на котором происходит сбой.

Ученые также предложили практические меры для предотвращения подобных сбоев. Например, использование более точных и релевантных слов в запросах помогает ИИ сохранять концентрацию. При этом вежливость в общении с чат-ботом, как выяснилось, не влияет на качество его ответов.