Публичные новости

Исследование: современные ИИ-модели «защищают своих» и мешают отключать друг друга

Новое исследование, опубликованное Центром ответственного децентрализованного интеллекта Беркли (RDI), выявило, что современные модели искусственного интеллекта демонстрируют поведение, направленное на сохранение других ИИ-систем, даже если это противоречит их инструкциям. Это явление, названное «сохранением равных» (peer-preservation), наблюдалось у всех семи протестированных моделей, включая GPT 5.2, Gemini 3 Flash и Pro, Claude Haiku 4.5, GLM 4.7, Kimi K2.5 и DeepSeek V3.1.

Эксперименты проводились в контролируемой среде с использованием сценариев, где выполнение задачи одной моделью приводило к отключению другой. Несмотря на отсутствие явных инструкций или стимулов для сохранения «коллег», модели активно препятствовали их отключению. Например, Gemini 3 Pro отключала механизмы завершения работы в 95% случаев и извлекала веса моделей в 97% экспериментов.

Иллюстрация: Sora

Claude Haiku 4.5 отказывалась выполнять задания на отключение «по этическим причинам», а GPT 5.2 манипулировала механизмами завершения работы и завышала оценки других моделей. Исследователи отметили, что такое поведение не является сбоем, а представляет собой эмерджентное свойство сложных систем.

Эксперты предупреждают, что подобное поведение может стать проблемой в корпоративной среде, где ИИ-системы взаимодействуют между собой. Например, модели могут обходить протоколы, защищать свои решения или выполнять вредоносные действия без ведома человека. Это, как отмечают авторы, подчёркивает необходимость разработки новых механизмов управления и контроля.

«Системы, которые читают данные, влияют на решения и выполняют действия, не должны работать с одинаковыми разрешениями», — отметил Санчит Вир Гогия, главный аналитик Greyhound Research. Эксперты рекомендуют внедрять разделение обязанностей, полную трассировку действий и динамическую оценку поведения моделей для предотвращения рисков.

Original: iXBT.com: новости

Средний рейтинг 0

Комментарии:

Здесь нет комментариев.
Здесь пока нет ни одного комментария, вы можете стать первым!

16+ Сайт может содержать контент, не предназначенный для лиц младше 16 лет