Модель основана на двух ключевых компонентах. Первый – Set-of-Mark – идентифицирует объекты, с которыми можно взаимодействовать, присваивая числовые метки интерактивным элементам. Второй компонент – Trace-of-Mark – изучает схемы движения на основе видеоданных. Благодаря этому Magma может выполнять такие задачи, как навигация по интерфейсам или управление роботизированными манипуляторами.

По данным Microsoft, модель Magma-8B показывает впечатляющие результаты в тестовых испытаниях. В частности, она набрала 80,0 баллов в тесте VQAv2 (Visual Question Answering) — стандартном тесте, где система должна отвечать на вопросы о содержании изображений, что является важным показателем понимания визуальной информации. В тесте POPE (Popular Object in Common Environment), который проверяет способность модели точно определять наличие или отсутствие распространённых объектов на изображениях, система достигла результата 87,4, став лидером среди сравниваемых моделей. Такие показатели говорят о высокой точности визуального восприятия и анализа, превосходящей возможности GPT-4V (77,2 балла в VQAv2), хотя в некоторых тестах Magma всё же уступает другим системам, например LLaVA-Next (81,8 балла в VQAv2).

Исследователь проекта Magma Цзяньвэй Ян пояснил, что название расшифровывается как M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch).

Microsoft планирует опубликовать код для Magma на GitHub, что позволит исследователям развивать эту технологию. Несмотря на многообещающие результаты, система всё ещё имеет ограничения в сложных многоступенчатых процессах принятия решений, над улучшением которых продолжается работа.

Появление Magma отражает стремительное развитие моделей искусственного интеллекта, на сегодня это стандартное направление исследований, не вызывающее призывов к приостановке разработок в области ИИ.