Библиотека создана на языке Python и призвана помочь разработчикам улучшить свои продукты при условии запуска их на блоках NPU новейших процессоров Intel. Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера. Собственно, это именно то, зачем вообще в процессорах нужны аппаратные блоки NPU, и то, чего на данный момент не хватает.  

Напомним, блоки NPU есть в процессорах Intel Meteor Lake и AMD Ryzen 7040/8040. Пока что для большинства пользователей эти блоки совершенно бесполезны.