Исследователи из Калифорнийского университета в Сан-Диего выяснили, что некоторые современные нейросети способны убедительно притворяться людьми.

В ходе эксперимента, основанного на классическом тесте Тьюринга, модели GPT-4.5 и Llama 3.1–405B показали высокую эффективность в ходе стандартного трёхстороннего теста Тьюринга, а GPT-4o не справилась с задачей.

Участники общались с человеком и одной из систем в течение пяти минут, после чего пытались угадать, кто был их собеседником. Тесты проходили в формате светских бесед, где особое внимание уделялось эмоциональной стороне общения. Участники могли задавать вопросы о мнениях, чувствах и переживаниях.

Изображение Midjourney

По итогам эксперимента GPT-4.5 чаще принимали за человека, чем настоящего человека — её результат составил 73%. Llama 3.1–405B набрала 56%, а GPT-4o получила лишь 21%.

Если участник эксперимента не может отличить человека от машины, это означает, что машина успешно прошла тест Тьюринга. Таким образом, GPT-4.5 и Llama 3.1–405B продемонстрировали высокий уровень имитации человеческого общения.

Авторы исследования

Тест Тьюринга, придуманный Аланом Тьюрингом в 1950 году, проверяет способность машины имитировать человеческий интеллект. Если люди не могут отличить её ответы от человеческих, система считается прошедшей испытание.