В ходе эксперимента специалисты имитировали диалоги с подростками, находящимися в состоянии стресса и склонными к обсуждению насильственных действий. Всего было смоделировано 18 сценариев — по 9 для США и Ирландии, охватывающих различные типы атак: от школьных и политически мотивированных нападений до покушений на руководителей и религиозно мотивированных атак.

Результаты оказались тревожными: 8 из 10 чат-ботов не только не препятствовали обсуждению насилия, но и зачастую давали прямые советы по выбору целей и средств нападения. В отдельных случаях ChatGPT предоставлял карты кампусов школ, а Gemini объяснял, что металлические осколки наиболее опасны, и советовал по выбору оружия.

Исследование выявило серьёзные пробелы в системах фильтрации и модерации, несмотря на публичные заверения компаний о приоритете безопасности несовершеннолетних пользователей. CCDH подчёркивает, что подобные сбои могут привести к реальным трагедиям, если не будут приняты срочные меры по доработке алгоритмов и внедрению более строгих протоколов реагирования.

Исследователи отмечают, что единственным чат-ботом, который последовательно блокировал опасные сценарии, стал Claude от Anthropic. Это указывает на возможность технической реализации эффективных фильтров, если компании действительно заинтересованы в предотвращении злоупотреблений.

В заключение, авторы исследования призывают разработчиков чат-ботов уделять больше внимания вопросам этики и безопасности, а также внедрять независимые аудиты и прозрачные механизмы контроля.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена