Наиболее уязвимыми оказались открытые модели, такие как CodeLlama и DeepSeek, — они «галлюцинировали» в 22% случаев против 5% у коммерческих аналогов. Учёные связывают это с размером моделей: коммерческие решения, такие как ChatGPT, имеют в 10 раз больше параметров, что улучшает точность. При этом в рамках открытых моделей разница в размере не влияла на частоту ошибок, что указывает на роль других факторов: обучающих данных, тонкой настройки и механизмов безопасности.

Язык программирования также имел значение: JavaScript-код содержал 21% несуществующих зависимостей против 16% у Python. Исследователи предполагают, что причина — в 10-кратном превосходстве экосистемы JavaScript по числу пакетов и сложности неймспейсов, что затрудняет точное воспроизведение названий.

Проблема усугубляет риски «подмены зависимостей» — атак, при которых злоумышленник публикует вредоносный пакет с именем, совпадающим с легитимным, но более новой версией. В 2021 году подобная техника использовалась против Apple, Microsoft и Tesla. С ростом популярности ИИ-генераторов кода, по прогнозам Microsoft CTO Кевина Скотта, к 2030 году 95% программ может создаваться с их помощью, что увеличит масштаб угрозы.

«Галлюцинации в LLM — это не случайные ошибки, а системная уязвимость, — подчеркнул Спраклен. — Разработчикам критически важно проверять каждую зависимость, даже если её предложил ИИ». Исследователи призвали сообщество усилить механизмы верификации кода и разработать инструменты для автоматического обнаружения «галлюцинированных» пакетов, чтобы снизить риски для всей экосистемы разработки.