Учёные Стэнфордского университета создали Behavior-1K – новый стандарт для оценки эффективности роботов, призванный ускорить развитие робототехники. В отличие от компьютерного зрения или обработки естественного языка, в робототехнике до сих пор отсутствовал единый общепринятый метод сравнения результатов разных разработок.

Behavior-1K включает 1000 реалистичных бытовых задач, основанных на опросах о том, в каких сферах люди больше всего нуждаются в помощи роботов. Многие задачи требуют выполнения цепочки действий, например, приготовление пищи или уборка. Задания моделируются в более чем 50 интерактивных трёхмерных средах (дома, офисы, рестораны), включающих свыше 10 000 объектов. Описание каждой задачи даётся на языке Behavior Domain Definition Language (BDDL), используя символическую логику для определения начальных и конечных условий. Система гибко подбирает объекты для заданий, например, если задача требует «фрукта», то в ней может использоваться яблоко или апельсин. Для организации объектов используется расширенная иерархия, основанная на WordNet.

Техническая основа бенчмарка – симулятор Nvidia Isaac Sim (платформа Omniverse с физическим движком PhysX), дополненный программным обеспечением OmniGibson (разработка Стэнфордского университета с открытым исходным кодом). OmniGibson обеспечивает реалистичное моделирование взаимодействия с жидкостями, тканями, учётом температуры, прозрачности, а также жёстких и мягких объектов. Бенчмарк поддерживает различные робототехнические платформы. Набор данных Behavior содержит все необходимые объекты, сцены и системы частиц для работы с бенчмарком.

Изображение: Figure AI

Параллельно с представлением бенчмарка стартовал Behavior Challenge 2025 – соревнование, где разработчики смогут сравнить свои алгоритмы на одних и тех же задачах. По аналогии с ImageNet для компьютерного зрения, будет создан официальный рейтинг участников.

Джим Фан, директор по искусственному интеллекту в Nvidia и один из разработчиков робототехнических систем, таких как Gr00t, утверждает, что Behavior-1K может стать тем «сигналом для улучшения», которого не хватало робототехнике. В случае широкого внедрения, он может стать основой для создания практичных универсальных роботов, способных выполнять повседневные задачи.

В целом, появление Behavior-1K – значимый шаг в развитии робототехники. Единый стандарт оценки позволит учёным более эффективно сравнивать результаты, стимулировать конкуренцию и ускорить разработку роботов, способных решать сложные задачи в реальном мире. Дальнейшие исследования, опираясь на Behavior-1K, должны привести к созданию более совершенных и полезных роботов для повседневной жизни.