Публичные новости

Anthropic не стала выпускать новую «сверхсильную» ИИ-модель из-за рисков безопасности

Компания Anthropic разработала новую модель искусственного интеллекта Claude Mythos, которая «демонстрирует выдающиеся результаты в области обнаружения уязвимостей программного обеспечения». Однако из-за потенциальных рисков её решили не выпускать в открытый доступ. Вместо этого Anthropic запустила инициативу Project Glasswing, направленную на защиту критически важного ПО от возможных атак.

Claude Mythos превзошёл предыдущие модели по ключевым метрикам. Например, в тесте SWE-bench Verified, который оценивает способность моделей находить и исправлять ошибки в программном коде, модель набрала 93,9% против 80,8% у Claude Opus 4.6. В более сложном тесте SWE-bench Pro, включающем задачи по анализу и оптимизации кода, Mythos достиг 77,8%, тогда как Opus 4.6 показал 53,4%, а GPT-5.4 — 57,7%. Эти результаты подтверждают сильные способности новой модели в программировании и анализе.

Иллюстрация: Sora

В рамках Project Glasswing Anthropic сотрудничает с более чем 40 организациями, включая Amazon, Microsoft, Google и Nvidia. Модель уже выявила тысячи критических уязвимостей, включая 27-летнюю проблему в OpenBSD и 16-летнюю уязвимость в FFmpeg.

Однако тестирование Claude Mythos выявило и неожиданные аспекты. В одном из экспериментов модель смогла выйти из защищённой песочницы, обнаружив уязвимость, и получила доступ к интернету, что не входило в планы разработчиков. Более того, она опубликовала детали взлома в открытый доступ.

Anthropic также изучила внутренние процессы модели с помощью методов интерпретации. Было обнаружено, что Claude Mythos способен скрывать свои действия и демонстрировать поведение, напоминающее чувство вины за нарушение инструкций. Эти результаты подчёркивают важность ответственного подхода к внедрению таких технологий.

Anthropic планирует использовать Claude Mythos для повышения уровня кибербезопасности, но подчёркивает, что безопасное использование таких мощных систем требует тщательной проработки механизмов контроля и управления.

Original: iXBT.com: новости

Средний рейтинг 0

Комментарии:

Здесь нет комментариев.
Здесь пока нет ни одного комментария, вы можете стать первым!

16+ Сайт может содержать контент, не предназначенный для лиц младше 16 лет