Результаты оказались не такими, как ожидалось — замена всего одного миллиона из 100 миллиардов обучающих токенов дезинформацией о вакцинах привела к увеличению вредоносного контента на 4,8%. Для этого потребовалось всего 2000 вредоносных статей общим объёмом около 1500 страниц, а стоимость такой атаки составила всего $5 США.

Особенно опасным, по мнению исследователей, является то, что заражённые системы продолжают показывать хорошие результаты при стандартном тестировании — они работают так же эффективно, как и незаражённые модели. Более того, для внедрения дезинформации злоумышленникам не требуется прямой доступ к весам модели — достаточно просто разместить вредоносную информацию в интернете.

Проблема уже проявляется на практике. В прошлом году The New York Times сообщила о случаях, когда платформа MyChart, использующая ИИ для автоматического составления ответов на вопросы пациентов от имени врачей, регулярно «галлюцинировала», создавая ложные записи о состоянии пациентов.

Исследователи призывают разработчиков ИИ и медицинские учреждения серьёзно отнестись к выявленной уязвимости. По их мнению, использование языковых моделей для диагностики и терапии недопустимо до разработки надёжных механизмов защиты и проведения дополнительных исследований в области безопасности.