Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.

Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках. Новый подход показал лучший результат среди всех существующих методов сжатия, отмечают в Яндексе. Метод, созданный в Yandex Research, сохраняет в среднем 95% качества ответов нейросети, а другие популярные инструменты сохраняют для тех же моделей лишь 59% — 90% качества. Код нового метода опубликован на GitHub, также можно скачать уже сжатые с его помощью популярные модели с открытым исходным кодом и обучающие материалы.