Хотя тысяча CS-3 кажется скромной на фоне сотен тысяч GPU от гигантов вроде Nvidia, каждый такой ускоритель выдаёт 125 петафлопс в разрежённых FP-вычислениях — в 25 раз больше, чем H100, и в 25 раз превосходя Blackwell. Для инференса модели Llama 3.1 70B система Cerebras демонстрирует скорость до 2100 токенов в секунду. Ключевым преимуществом стала пропускная способность памяти — 21 петабайт/с против 3,35 ТБ/с у H100.

Однако основной прирост скорости (до 6×) достигается за счёт спекулятивного декодирования: меньшая модель генерирует черновик ответа, а крупная проверяет его точность. Этот подход важен для «рассуждающих» моделей, таких как DeepSeek-R1 и QwQ, где цепочки размышлений могут занимать тысячи токенов.

Слабым местом Cerebras остаётся ограниченный объём памяти: для работы Llama 3.3 70B в 16-битной точности требуется минимум четыре CS-3, а Llama 3.1 405B — свыше 20 ускорителей. Тем не менее, стартап уже привлёк клиентов вроде Mistral AI, Perplexity и AlphaSense, последний из которых переходит с проприетарных моделей на открытые, работающие на CS-3.

Дополнительный импульс Cerebras получил благодаря интеграции с Hugging Face: через единый API разработчики теперь могут подключаться к его инфраструктуре наряду с SambaNova и Together.ai. Это расширяет доступ к экосистеме, где скорость генерации токенов становится ключевым аргументом в условиях растущего спроса на сложные AI-расчёты.