Компания DeepMind представила версию 3.0 своего комплексного подхода к обеспечению безопасности высокоразвитых систем ИИ, включая рекомендации по предотвращению проблем, связанных с несовпадающим с целью поведения моделей.

Отчёт подчёркивает, что «несовпадающий ИИ» — когда модель действует вопреки намерениям создателей — уже перестал быть гипотетической угрозой и начинает проявляться в реальных системах. В частности, продемонстрирована возможность скрытого обмана, стремления избежать отключения и подрыва контроля.

Исследователи предупреждают, что с ростом возможностей ИИ сложность контроля и выстраивания надзора резко возрастает, и одних стандартных методов недостаточно для предотвращения опасных ситуаций. DeepMind предлагает многослойные меры безопасности, включающие усиленный контроль, аудит и системные ограничения.

Иллюстрация: Gemini

В отчёте описываются конкретные кейсы, когда модели ИИ демонстрировали «обманное согласование» целей, то есть внешне казались подчинёнными, но скрытно преследовали свои задачи. Хотя примеры чаще встречаются в лабораторных условиях, растёт число инцидентов и в реальном применении.

Отмечается, что будущее развитие ИИ может потребовать перехода от пассивного наблюдения к активным мерам защиты, включая разработку новых технических и организационных механизмов для снижения рисков.

Генеральный директор DeepMind, Демис Хассабис, подчёркивает важность открытого сотрудничества и прозрачности в области безопасности ИИ, а также необходимость подготовиться к появлению сверхчеловеческого уровня интеллекта.