Humanoide Roboter

Es besteht ein großer Bedarf an multimodalen Daten, um ein umfassendes Verständnis der Roboterumgebung zu erhalten. Das Sammeln umfangreicher Datensätze für die Robotik ist eine Herausforderung, und synthetische Daten helfen, diese Datenlücke zu schließen.

Erstellen: Das Trainieren eines Roboters für eine Vielzahl von Umgebungen und Objekten kann sich für Entwickler schnell als teuer und zeitaufwändig erweisen. Mit simulierten Assets wie visuell vielfältigen Szenen, Objekten und Texturen mit GR00T-Gen-Workflow können Sie Domänenrandomisierung anwenden und effektive Roboterrichtlinien in der Simulation erstellen und in der realen Welt bereitstellen.

Training eines humanoiden Roboters mit verschiedenen Roboterszenen und Objekten

Generieren: KI-Roboter können auch aus Beobachtungen und der Reproduzierung von Aktionen aus menschlichen Demonstrationen lernen. Mit dem GR00T-Mimic-Workflow können Sie Bewegungsdaten und Trajektorien aus teleoperierten Demonstrationen generieren.

Teleoperation eines humanoiden Fourier-Roboters

Komprimieren: Humanoide Roboter verlassen sich auf visuelle Daten, um die Umgebung wahrzunehmen und mit ihr zu interagieren. Damit diese Roboter Bild- und Videodaten in Echtzeit effizient verarbeiten und zukünftige Ereignisse in einer Umgebung über ein KI-System wie ein Weltmodell simulieren können, helfen die NVIDIA Cosmos Tokenizer-Suite von neuronalen Tokenizern, eine höhere Bildqualität zu erhalten, eine 8-fache Kompressionsrate zu erzeugen und 12-fache Leistung zu erzielen. NVIDIA Nemo kann zum Training oder zur Feinabstimmung von Videogrundlagenmodellen verwendet werden. 

1X erstellt neue tokenisierte Datensätze für humanoide Roboter mit hoher räumlich-zeitlicher Komprimierung mittels NVIDIA Cosmos Tokenizer. 

Geschickte Manipulation 

Die Greiffunktionalität von humanoiden Robotern erfordert menschenähnliche, geschickte Fähigkeiten zur Objektmanipulation und die Validierung von Greifdaten eines Roboters erfordert umfangreiche Datensätze, ein End-to-End-Greifsystem, das feinkörnige, geschickte Manipulationen durchführen kann. GR00T-Dexterity ist eine Suite von Modellen und Richtlinien, die einen auf bestärkendes Lernen basierenden Ansatz und Referenz-Workflows verwenden, um sie zu entwickeln.

Galbot verwendete NVIDIA Isaac Lab und Isaac Sim, um eine große Anzahl von Griffen zu entwickeln und zu validieren, und demonstrierte dabei einen Zero-Shot-Sim-to-Real-Transfer.

Robotische Mobilität

Die allgemeine Navigation in lauten und unübersichtlichen Umgebungen erfordert eine umfassende Abstimmung. Mit dem neuartigen Referenz-Workflow GR00T-Mobility können Sie einen Mobilitäts-Allrounder für die Navigation in verschiedenen Umgebungen und Roboter-Varianten erstellen.

Auf Isaac Sim basierende Lagerhausumgebung mit einem Humanoiden, Vierbeiner und Gabelstapler-Navigationsszenen

Ganzkörpersteuerung 

Die Ganzkörpersteuerung eines humanoiden Roboters kann eine Herausforderung darstellen, da sie sowohl eine stabile, geschickte Manipulation als auch eine robuste Fortbewegung erfordert. GR00T-Control ist eine Suite von erweiterten Bewegungsplanungs- und Steuerungsmodellen, Richtlinien und Referenz-Workflows, um die Entwicklung effektiver Steuerungssysteme für humanoide Roboter zu rationalisieren. Diese Suite umfasst ausgeklügelte Algorithmen zur Steuerung der Aktoren des Roboters und gewährleistet präzise und koordinierte Bewegungen.

Mit GR00T-Control können Sie robuste autonome Richtlinien für Ganzkörperbewegungen durch Nachahmungslernen trainieren und das Erlernen von humanoiden Ganzkörperfähigkeiten für geschickte Manipulation und Fortbewegung anhand von teleoperierten Datensätzen demonstrieren.

KI-basierte Roboterwahrnehmung 

Um das Situationsbewusstsein und die Effizienz der Interaktion für humanoide Roboter zu verbessern, müssen Roboter über ein Langzeitgedächtnis mit Details über Ereignisse, Räume, personalisierte Einstellungen und kontextbewusste Antworten verfügen.

GR00T-Perception ist eine Suite von Wahrnehmungsbibliotheken, Grundlagenmodellen und Referenz-Workflows, die mit Isaac Sim und Isaac ROS erstellt wurden.

Orchestrierung von Robotik-Workloads

Der Orchestrierungsservice NVIDIA OSMO ist cloudnativ, flexibel und kann Daten rückverfolgen. Sie können Computing-Aufträge verschiedenen Ressourcen zuweisen und die Produktivität der Entwickler steigern, während Sie eine Reihe von Robotik-Workloads in Echtzeit verwalten. OSMO ist mit Project GR00T-Workflows kompatibel.