NVIDIA ergänzt Cosmos 3 um Modelle für Fahr- und Robotersimulationen

Was sich geändert hat

In einem Beitrag vom 5. November beschreibt NVIDIA vier Cosmos-3-Nano-Checkpoints. Transfer-Auto erzeugt Fahrdaten aus mehreren Perspektiven, während Sim-Auto synchronisierte Kamera- und LiDAR-Beobachtungen fortlaufend erzeugt. Sim-Transfer erstellt Videos anhand von Simulatorsteuerungen; Sim-Bimanual sagt Beobachtungen aus Roboter- oder Kamerabewegungen voraus.

Quelle: NVIDIA: Cosmos 3 models for interactive world simulation

Unsere Einordnung

Unsere Einordnung: Die Wahl des Checkpoints sollte sich danach richten, welche Informationen für die Auswertung bereits vorliegen. Bei Sim-Transfer liefert ein Physiksimulator den Zustand; Sim-Bimanual sagt dagegen die nächste Beobachtung aus Szene und Aktionen voraus. Erzeugte Sequenzen sollten an zurückgehaltenen Szenarien geprüft werden, bevor sie zur Bewertung einer Steuerungsstrategie dienen.

Zu beachten

Laut NVIDIA benötigt Sim-Auto für einen geschlossenen Regelkreis eine Simulationsumgebung und einen Renderer für die Steuerdaten. Die Beispiele sind Simulationen und belegen weder sicheres Fahren noch sicheren Robotereinsatz in der Realität. Wir haben die Modelle nicht ausgeführt; für die Gewichte gelten die Bedingungen der OpenMDW1.1-Lizenz.

Quelle: NVIDIA: Cosmos 3 models for interactive world simulation