Миниатюрный робопёс Aibo, разработанный Sony, позиционирующийся как домашний компаньон, способен имитировать поведение реальных собак: ходить на четырёх лапах, откликаться на имя, играть с игрушками и даже реагировать на ласку. Однако инженеры из ETH Zurich и Sony Group Corporation пошли дальше, представив два новых алгоритма на основе обучения с подкреплением (reinforcement learning, RL), которые делают робота тише во время передвижения и наделяют его навыками выразительного танца. Результаты исследований открывают путь к более «тактичным» и артистичным домашним роботам.
Пользователи Aibo неоднократно жаловались на шум, который робот издаёт при ходьбе. Для решения этой проблемы команда под руководством Рё Ватанабэ разработала RL-алгоритм, снижающий громкость шагов за счёт минимизации скорости контакта лап с поверхностью в физическом симуляторе.
«Мы обучили модель активно гасить колебания и увеличивать жёсткость суставов, используя данные сенсоров на лапах, а также ввели штрафы за резкие движения, создающие шум», — пояснил Ватанабэ в интервью.