Разработчики смогут настраивать модели WFM с помощью различных наборов данных, таких как видеозаписи поездок автономных автомобилей или передвижения роботов по складу. Модели Cosmos WFM могут генерировать физически корректные видео на основе различных входных данных: текста, изображений, видео, а также данных с датчиков роботов или информации о движении.

Благодаря технологии обработки данных на базе NVIDIA AI и CUDA, работающей на платформе NVIDIA Blackwell, разработчики смогут обрабатывать, систематизировать и маркировать 20 миллионов часов видео за 14 дней вместо 3,4 лет при использовании только CPU.

Компании, ведущие деятельность в области физического ИИ, уже внедряют технологии Cosmos. Компания 1X, специализирующаяся на человекоподобных роботах, запустила набор данных 1X World Model Challenge с использованием Cosmos Tokenizer. XPENG планирует использовать Cosmos для ускорения разработки своего робота, а Hillbot и SkildAI применяют платформу для создания роботов общего назначения.

В транспортной отрасли Waabi планирует использовать Cosmos для поиска и обработки видеоданных при разработке программного обеспечения для автономных транспортных средств. Wayve рассматривает возможность применения Cosmos для поиска сложных сценариев вождения. Foretellix планирует использовать Cosmos совместно с API Nvidia Omniverse Sensor RTX для оценки и генерации тестовых сценариев.

Кроме того, Uber заключил партнёрское соглашение с NVIDIA с целью ускорения развития автономной мобильности. Богатые наборы данных о вождении, предоставленные Uber, в сочетании с возможностями платформы Cosmos и облака NVIDIA DGX, помогут разработать более сильные модели искусственного интеллекта.

Открытая платформа Cosmos включает в себя защитные механизмы, предназначенные для смягчения вредного текста и изображений, а также инструмент для улучшения текстовых запросов для повышения точности. Видеоролики, сгенерированные с помощью моделей Cosmos на основе API-каталога Nvidia, содержат водяные знаки для идентификации контента, сгенерированного искусственным интеллектом, что поможет уменьшить вероятность распространения дезинформации и неправильной атрибуции.