HBM — это передовая технология DRAM с 3D-стекингом, обеспечивающая сверхвысокую пропускную способность, низкие задержки и высокую энергоэффективность. Для работы больших ИИ-моделей, содержащих сотни миллиардов параметров, HBM позволяет графическим процессорам эффективно обращаться к данным без узких мест, возникающих при использовании традиционной памяти DDR. В настоящее время HBM почти полностью стандартизирована для обучения ИИ и всё чаще используется в выводе моделей.

Тем не менее ограничения производства и экспортные барьеры со стороны США побуждают китайских разработчиков искать альтернативы. Huawei, в частности, исследует технологии корпусирования чиплетов и оптимизацию моделей с уменьшенным числом параметров, чтобы сохранить высокую производительность при сниженной зависимости от HBM.