По словам Серажим, генеративные ответы — важная функция поиска, они должны быть быстрыми и лаконичными. Для этого Яндекс создал семейство моделей Alice AI Search, оптимизированных под задачи поиска. В них используется архитектура «энкодер-декодер», где одна часть модели анализирует запрос и документы, а другая формирует ответ. Чтобы ускорить работу без потери качества, компания применила подход MoE, который задействует только часть модели для генерации каждого следующего токена.

Екатерина Серажим подвела итог:

В поиске модель должна одновременно работать с большим объёмом данных и укладываться в жёсткие ограничения по скорости и стоимости на каждом запросе. Нам удалось модифицировать архитектуру, добавив слои MoE. В совокупности все улучшения, включая создание гибридной архитектуры, позволили нам повысить качество и совокупно снизить стоимость инференса в 3 раза. В результате покрытие ИИ-ответами в поиске (доля запросов, на которые поиск сразу даёт генеративный ответ) выросло за год в 1,5 раза.