Aegaeon — это планировщик времени вывода, разработанный для максимального использования графических процессоров во многих моделях с пиковой или непредсказуемой нагрузкой. Вместо того, чтобы, как обычно, привязывать один ускоритель к одной модели, Aegaeon виртуализирует доступ к графическим процессорам на уровне токенов, позволяя планировать небольшие фрагменты работы в общем пуле.  

С практической точки зрения это означает, что один ускоритель H20 (авторы использовали именно их) может обслуживать несколько различных моделей одновременно, при этом общесистемная полезная производительность увеличивается в девять раз по сравнению со старыми бессерверными системами. 

Система компании тестировалась в производственной среде в течение нескольких месяцев. За это время количество графических процессоров, необходимых для поддержки десятков различных LLM-моделей, объёмом до 72 млрд параметров, сократилось с 1192 до всего 213, то есть в пять с половиной раз. 

Пока неясно, будет ли эта экономия распространяться за пределы стека Alibaba. В документе Alibaba Cloud не указана точная сетевая структура, использованная в бета-тестировании, но известно, что компания предлагает собственную RDMA-сеть eRDMA и имеет опыт создания высокоинтегрированных стеков обслуживания графических процессоров.