NVIDIA ajoute à Cosmos 3 des modèles pour simuler conduite et robotique

Ce qui change

Dans un article du 5 novembre, NVIDIA décrit quatre versions de Cosmos 3 Nano. Transfer-Auto génère des données de conduite sous plusieurs angles, tandis que Sim-Auto produit en continu des observations synchronisées de caméra et de LiDAR. Sim-Transfer génère des vidéos à partir des commandes d’un simulateur ; Sim-Bimanual prédit des observations à partir d’actions de robot ou de caméra.

Source : NVIDIA: Cosmos 3 models for interactive world simulation

Notre analyse

Notre analyse : choisissez le modèle selon les informations déjà disponibles pour votre évaluation. Un simulateur physique fournit l’état à Sim-Transfer ; Sim-Bimanual prédit plutôt l’observation suivante à partir de la scène et des actions. Testez les séquences générées sur des scénarios mis de côté avant de les utiliser pour évaluer une stratégie de contrôle.

À garder en tête

Selon NVIDIA, utiliser Sim-Auto en boucle fermée nécessite un environnement de simulation et un moteur de rendu des commandes. Ces exemples restent des simulations et ne prouvent pas la sécurité d’une conduite ou d’un robot en conditions réelles. Nous n’avons pas exécuté ces modèles ; leurs poids sont soumis aux conditions de la licence OpenMDW1.1.

Source : NVIDIA: Cosmos 3 models for interactive world simulation