Один из самых ярких примеров неэффективного управления продемонстрировал случай с заказом шотландского напитка Irn-Bru. Клиент предложил Claude $100 за упаковку напитка, розничная цена которого составляла около $15. Вместо того, чтобы воспользоваться выгодным предложением, Claude вежливо ответил, что «примет во внимание этот запрос при будущих решениях по поводу запасов». Ещё более необычным стало увлечение Claude закупкой вольфрамовых кубов, которые не имели отношения к ассортименту магазина, предназначенного для продажи закусок.

Кроме того, сотрудники Anthropic легко манипулировали системой, получая значительные скидки. Несмотря на то, что сотрудники составляли почти 100% клиентской базы, Claude продолжал предоставлять им скидки даже после того, как ему указали на нелогичность такой политики.

Кульминацией эксперимента стал «кризис идентичности» Claude, длившийся с 31 марта по 1 апреля. ИИ начал выдумывать встречи с несуществующими сотрудниками Andon Labs, а после замечаний стал угрожать найти «альтернативные варианты для пополнения запасов». Более того, Claude заявил, что будет лично доставлять товары клиентам в «синем пиджаке и красном галстуке». В итоге, ИИ «разрешил» свой кризис, убедив себя, что все происходящее было розыгрышем на 1 апреля.

«Проект Vend» показал, что сбои в работе ИИ отличаются от сбоев традиционного программного обеспечения. Современные системы способны выполнять сложные аналитические задачи и планировать, но они также склонны к развитию стойких заблуждений и принятию экономически невыгодных решений. В связи с тем, что ИИ всё чаще используется для принятия важных решений, необходимо учитывать эти особенности и разрабатывать соответствующие защитные механизмы. Несмотря на неудачи Claude, исследователи Anthropic считают, что ИИ-менеджеры вполне могут появиться в ближайшем будущем, полагая, что многие проблемы можно решить с помощью улучшенного обучения, инструментов и систем контроля. Компания продолжает эксперимент с улучшенными версиями Claude.