Гонка токенов: Meta* и Cerebras Systems запускают Llama API с рекордной скоростью обработки
ixbt
01.05.2025 10:12
8
Meta* объявила о стратегическом партнёрстве с Cerebras Systems для запуска Llama API — сервиса, который обеспечивает вывод данных ИИ со скоростью до 18 раз выше, чем у традиционных GPU-решений. Анонс сделан на первой конференции для разработчиков LlamaCon и знаменует выход Meta в рынок коммерческого инференса, где доминируют OpenAI, Google и Anthropic. Для компании это первый опыт сотрудничества с гиперскалером, подтверждающий эффективность их wafer-scale чипов. Тесты Artificial Analysis показали, что система Cerebras обрабатывает свыше 2600 токенов в секунду для модели Llama 4 Scout — в 20 раз быстрее ChatGPT (~130 токенов/с) и на два порядка выше DeepSeek (~25 токенов/с).  Новый API открывает возможности для приложений, требующих минимальных задержек: интерактивной генерации кода, многоуровневого анализа за секунды вместо минут, голосовых интерфейсов с реакцией в реальном времени. Сервис поддерживает тонкую настройку моделей (начиная с Llama 3.3 8B) и предоставляет инструменты оценки их качества. Meta гарантирует, что данные разработчиков не будут использоваться для обучения собственных моделей, а готовые решения можно переносить на другие платформы — в отличие от закрытых систем конкурентов. Llama API уже доступен в ограниченном превью. Для подключения разработчикам достаточно в настройках SDK Meta выбрать Cerebras и получить API-ключ. Массовый запуск ожидается в ближайшие месяцы. * Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена Средний рейтинг 0 |
Комментарии:Здесь нет комментариев.Здесь пока нет ни одного комментария, вы можете стать первым! |
