Традиционно архитектура модели и алгоритм её оптимизации рассматриваются как отдельные компоненты. Nested Learning объединяет их в единую структуру, представляя ИИ как набор вложенных, взаимосвязанных подзадач оптимизации. Каждая из них обновляется с собственной частотой — механизм, который в Google называют multi-time-scale updates. Это позволяет модели адаптироваться к новой информации, не «затирая» старые слои знаний.

Для демонстрации идеи команда Google создала экспериментальную модель Hope — самообучающуюся рекуррентную систему, которая может оптимизировать собственную память. Её основа — Continuum Memory Systems, где память представлена не как два жёстких блока («краткосрочная» и «долгосрочная»), а как спектр слоёв, каждый из которых обновляется с разной скоростью.

Hope показала превосходные результаты в тестах на долговременное запоминание, в частности в задачах Needle-in-Haystack — когда ИИ должен найти крошечную деталь в огромном тексте. Модель также превзошла существующие системы в точности и эффективности при генерации текста.

Google отмечает, что принципы Nested Learning могут лечь в основу будущих версий моделей семейства Gemini, однако сроки внедрения пока не называются.