Решение использует архитектуру скользящих слоёв, которая позволяет GPU работать как окно, совмещая вычисления на GPU с обновлениями на CPU и многоуровневым вводом-выводом. Система снижает пиковое использование памяти за счёт предварительно выделенных GPU-кэшей и буферов на CPU, что уменьшает фрагментацию и перераспределение памяти. Интеграция методов ввода-вывода и оптимизированных вычислительных ядер Triton устраняет узкие места в вычислениях.

Это решение позволяет SlideFormer достигать следующих результатов: увеличение пропускной способности от 1,40 до 6,27 раз по сравнению с существующими решениями, такими как ZeRO-Offload и ColossalAI, снижение использования памяти GPU более чем на 50% и уменьшение потребления памяти CPU на 40%. Например, SlideFormer позволяет тонко настраивать модели с 123 миллиардами параметров на одном RTX 4090, а также обрабатывать пакеты данных в 8 раз больше. На высокопроизводительном ПК с 256 ГБ оперативной памяти система может обрабатывать модели до 24 миллиардов параметров без потери производительности.

SlideFormer открывает новые возможности для демократизации тонкой настройки LLM, позволяя пользователям и небольшим организациям использовать мощь больших моделей без необходимости в дорогих кластерных решениях.