Обсуждение вопроса о «благополучии ИИ» (AI welfare) становится всё более заметным на фоне роста популярности систем на базе крупных языковых моделей. Суть спора — способны ли ИИ-модели испытывать субъективный опыт, и если да, то заслуживают ли они иметь определённые права.
Ведущие позиции в дискуссии заняли сразу несколько компаний. Например, стартап Anthropic не только ведёт целенаправленные исследования в области благополучия ИИ, но и запустил собственную программу. На прошлой неделе модели Anthropic, включая Claude, получили новую функцию: прекращение диалога с человеком, если его поведение становится «постоянно вредоносным или оскорбительным».
Исследованием благополучия ИИ занимаются и в других компаниях, среди которых OpenAI и Google DeepMind. Например, в новой вакансии DeepMind указано, что к задачам относится анализ «вопросов о мышлении и сознании агентов».
Однако столь целенаправленный подход вызывает возражения у руководителей других технологических гигантов. Руководитель направления ИИ Microsoft Мустафа Сулейман в свежем блоге раскритиковал саму постановку таких вопросов, заявив, что изучение благополучия ИИ «преждевременно и прямо опасно». По мнению Сулеймана, такие исследования могут усиливать реальные социальные проблемы — например, нездоровые привязанности к чат-ботам или случаи психозов, связанных с активным использованием ИИ.