Un-ViTAStereo обучается с помощью модели Depth Anything V2, которая оценивает относительную глубину объектов по одному изображению, распознавая тени, перспективу и перекрытия. Это позволяет алгоритму отбирать только те предсказания, которые согласуются с подсказками «наставника», повышая точность работы.

Система работает в три этапа: проверка каждого пикселя на соответствие подсказкам, поиск зелёных соседей для красных точек и построение контуров с помощью функции сглаживания диспаратности. В результате доля грубых ошибок на тесте беспилотников KITTI 2015 снизилась до 5%, что на 23% меньше опасных ошибок в определении расстояний до объектов.

В МФТИ  отмечают, что текущая версия Un-ViTAStereo — лишь начало. Учёные планируют создать самообучающуюся нейросеть, способную адаптироваться к разным средам, и использовать точные измерения лидаров для повышения точности. Новая технология открывает широкие перспективы для повышения безопасности и функциональности автономных систем. Исследование опубликовано в IEEE Transactions on Circuits and Systems for Video Technology.