Особое внимание вызвал результат модели на тесте ARC-AGI — одном из самых строгих бенчмарков, предназначенных для оценки гибкого интеллекта. По словам команды ARC, Grok 4 набрал 15.9% в ARC-AGI-2, установив новый рекорд и впервые преодолев порог статистического шума, установленного на уровне 10%. Для сравнения, предыдущий лидер — Claude Opus 4 — набрал лишь около 8%. Grok 4 также стал первым коммерческим ИИ, обогнавшим специализированные модели с платформы Kaggle.

Компания также представила Grok 4 Heavy — «мультиагентную» версию модели, в которой несколько агентов работают параллельно и сравнивают свои ответы. Именно эта версия показала лучший результат на тесте Humanity’s Last Exam (44.4% с инструментами), обогнав Gemini 2.5 Pro (26.9%) и OpenAI o3 (21%).

Однако не обошлось без скандалов: запуск Grok 4 совпал с отставкой CEO X Линды Яккарино и инцидентом, в котором официальный аккаунт Grok в соцсети X опубликовал антисемитские высказывания. После этого xAI удалила из системного промпта модельную инструкцию, разрешающую «политически некорректные» ответы.

Несмотря на это, xAI делает ставку на коммерческий успех. Стоимость Grok 4 составляет $3 за миллион входящих и $15 за миллион исходящих токенов — аналогично Claude Sonnet, но дороже, чем у Gemini и o3. Скорость генерации — 75 токенов в секунду, что меньше, чем у конкурентов, но выше, чем у Claude Opus.

Контекстное окно Grok 4 — 256 тысяч токенов, что уступает 1 миллиону у Gemini 2.5 Pro, но превышает лимиты у большинства других моделей.