Популярные инструменты на базе искусственного интеллекта, такие как GPT-4, генерируют похожий на человеческий текст текст и настолько хорошо справляются с различными языковыми задачами, что становится всё труднее определить, является ли собеседник человеком или чат-ботом.
Этот сценарий отражает знаменитый мысленный эксперимент Алана Тьюринга, в котором он предложил тест, позволяющий оценить, «может ли машина демонстрировать человеческое поведение до такой степени, что человек не сможет различить человека и машину, основываясь исключительно на их реакциях».
Департамент когнитивных наук Калифорнийского университета в Сан-Диего решил проверить, как работают современные системы искусственного интеллекта, и оценил ELIZA (простой основанный на скриптах чат-бот 1960-х годов, включенный в эксперимент в качестве базового), GPT-3.5 и GPT-4 в контролируемом эксперименте Тьюринга. Участники в течение пяти минут разговаривали либо с человеком, либо с ботом, а затем должны были решить, был ли их собеседник человеком.
