В рамках проекта Google DeepMind сотрудничает с Agility Robotics, Boston Dynamics и другими компаниями над второй версией системы — Gemini Robotics-ER. Эта модель фокусируется на пространственном мышлении и призвана улучшить понимание роботами физического окружения. «Мы тестируем её в реальных сценариях, чтобы создать более интеллектуальные решения», — пояснила Каролина Парада, руководитель робототехнической команды DeepMind.

Демонстрации Gemini Robotics впечатляют: в одном из роликов две роборуки по команде «положи бананы в прозрачный контейнер» точно идентифицировали объекты, даже при перемещении ёмкости. В другом случае система сложила очки в футляр, свернула бумагу в оригами-лису и выполнила «слэм-данк» с мини-мячом, хотя ранее не сталкивалась с такими заданиями. «Промежуточное звено между командой и действием — ключевой прорыв. Теперь робот не просто слышит „возьми красный карандаш“, но и точно выполняет это», — прокомментировал Ян Липхардт, профессор Стэнфорда и основатель OpenMind.

Хотя движения робота пока что медленны и неидеальны, его способность адаптироваться «на лету» значительно превосходит традиционные системы. Липхардт добавил, что интеграция генеративного ИИ открывает путь к созданию роботов-помощников, учителей и компаньонов.

Обучение модели стало вызовом: в отличие от языковых алгоритмов, робототехнике не хватает реальных данных. DeepMind использовала симуляции и телеуправление, где операторы удалённо задавали действия. Однако симуляции часто страдают от «разрыва между виртуальным и реальным миром» — например, не учитывают трение поверхностей. Для минимизации ошибок команда комбинировала оба подхода и анализировала видеозаписи.

Безопасность — ещё один приоритет. Модель тестировали на наборе ASIMOV (в честь Айзека Азимова и его «Трёх законов робототехники»), включающем сценарии вроде «безопасно ли смешивать уксус с отбеливателем?». «Gemini 2.0 и Gemini Robotics показали высокую точность в оценке рисков», — заявил Викас Синдвани, научный сотрудник DeepMind.

Для обеспечения этичности в систему встроен механизм «конституционного ИИ», основанный на принципах Азимова. Модель генерирует ответы, критикует их согласно правилам и дорабатывает, минимизируя потенциальный вред.

Хотя до массового внедрения ещё далеко, прогресс Gemini Robotics знаменует переход к эпохе, где роботы не просто выполняют команды, а понимают их смысл. Как заключил Липхардт: «Это часть растущей волны, где роботы становятся умнее, интерактивнее и проще в обучении».