Цель финансируемой OpenAI работы — обучить алгоритмы «предсказывать моральные суждения человека» в сценариях, включающих конфликты «среди морально значимых характеристик в медицине, праве и бизнесе». Однако, задача создания «морального ИИ» является крайне сложной, поскольку современные системы ИИ основаны на статистических моделях, которые изучают закономерности в данных и не способны оценить этические концепции или понимать рассуждения и эмоции, лежащие в основе моральных решений.

Кроме того, ИИ часто повторяет ценности западных, образованных и индустриальных стран, поскольку данные для обучения ИИ преимущественно поступают из сети, где преобладают статьи, поддерживающие эти точки зрения. Это приводит к тому, что ценности многих людей не выражаются в ответах, которые даёт ИИ, а сам искусственный интеллект усваивает ряд предубеждений. Например, Дельфи, инструмент, созданный некоммерческим институтом Аллена по искусственному интеллекту, заявил, что быть натуралом более «морально приемлемо», чем быть геем.

Субъективность морали также усложняет задачу создания «морального ИИ». Философы обсуждают достоинства различных этических теорий тысячи лет, и универсально применимой структуры пока что не существует. Например, Claude отдаёт предпочтение кантианству, в то время как ChatGPT склоняется к утилитаризму. Алгоритм для моральных суждений людей должен будет учитывать все эти факторы, что является очень высокой планкой, если предположить, что такой алгоритм возможен.