Robot umanoidi

C'è un enorme bisogno di dati multimodali per ottenere una comprensione ricca dell'ambiente intorno ai robot. Data le difficoltà della raccolta di ampi set di dati per la robotica, i dati sintetici aiutano a colmare questa lacuna.

Creare: addestrare un robot per un set diversificato di ambienti e oggetti può rivelarsi in poco tempo costoso e richiedere molto tempo per gli sviluppatori. Grazie a risorse simulate come scene, oggetti e texture visivamente diverse che utilizzano il flusso di lavoro GR00T-Gen, è possibile applicare la randomizzazione del dominio e creare policy per robot efficaci nella simulazione e implementarle nel mondo reale.

Addestrare un robot umanoide con scene e oggetti robotici diversi

Generare: i robot IA possono imparare anche osservando e replicando le azioni delle dimostrazioni umane. Con il flusso di lavoro GR00T-Mimic, è possibile generare dati su movimenti e traiettorie da dimostrazioni teleoperate.

Teleoperare un robot umanoide Fourier

Comprimere: i robot umanoidi si basano sui dati visivi per percepire e interagire con l'ambiente circostante. Affinché questi robot possano elaborare in modo efficiente i dati di immagini e video in tempo reale e simulare eventi futuri in un ambiente tramite un sistema di IA come un modello del mondo, la suite di tokenizzatori neurali NVIDIA Cosmos Tokenizer aiuta a mantenere una qualità dell'immagine superiore, produce un tasso di compressione 8 volte superiore e offre prestazioni 12 volte migliori rispetto ai metodi attuali più avanzati. NVIDIA Nemo può essere utilizzato per addestrare o ottimizzare i modelli video di base. 

1X sta creando nuovi set di dati tokenizzati da robot umanoidi con un'elevata compressione spazio-temporale utilizzando NVIDIA Cosmos Tokenizer. 

Manipolare con destrezza 

La funzionalità di presa dei robot umanoidi richiede capacità di manipolazione di oggetti di tipo umano, mentre la convalida dei dati di presa dei robot richiede set di dati su larga scala, un sistema di presa end-to-end per poter manipolare con destrezza e precisione. GR00T-Dexterity è una suite di modelli e policy che adotta un approccio basato sull'apprendimento per rinforzo e flussi di lavoro di riferimento per lo sviluppo.

Galbot ha utilizzato NVIDIA Isaac Lab e Isaac Sim per creare e convalidare un vasto numero di prese e ha dimostrato il trasferimento da simulazione a reale zero-shot.

Mobilità robotica

La capacità dei robot generici di spostarsi attraverso ambienti rumorosi e disordinati richiede un grande lavoro di ottimizzazione. Con il nuovo flusso di lavoro di riferimento GR00T-Mobility, è possibile creare un generalista della mobilità per muoversi attraverso vari ambienti e realizzazioni di robot.

Ambiente di magazzino basato su Isaac Sim con scene di movimento di umanoidi, quadrupedi e carrelli elevatori

Controllo di tutto il corpo 

Il controllo dell'intero corpo di un robot umanoide può essere impegnativo in quanto richiede sia la capacità di manipolare stabilmente e con destrezza sia una solida locomozione. GR00T-Control è una suite di modelli, policy e flussi di lavoro di riferimento avanzati per il controllo e la pianificazione del movimento per semplificare lo sviluppo di sistemi di controllo efficaci per robot umanoidi. Questa suite include sofisticati algoritmi per gestire gli attuatori del robot, garantendo movimenti precisi e coordinati.

Con GR00T-Control, è possibile addestrare solide policy autonome per il movimento dell'intero corpo attraverso l'apprendimento per imitazione e dimostrare l'apprendimento dell'intero corpo umanoide per poter manipolare con destrezza e muoversi da set di dati teleoperati.

Percezione robotica basata su IA 

Al fine di migliorare la consapevolezza situazionale e l'efficienza dell'interazione dei robot umanoidi, i robot devono avere una memoria a lungo termine con dettagli su eventi, spazi, impostazioni personalizzate e risposte sensibili al contesto.

GR00T-Perception è una suite di librerie di percezione, modelli di base e flussi di lavoro di riferimento costruiti utilizzando Isaac Sim e Isaac ROS.

Orchestrazione del carico di lavoro robotico

Il servizio di orchestrazione NVIDIA OSMO è nativo cloud, flessibile e tracciabile; è possibile assegnare processi di elaborazione a diverse risorse e garantire la produttività degli sviluppatori gestendo al contempo una serie di carichi di lavoro robotici in tempo reale. OSMO è compatibile con i flussi di lavoro di Project GR00T.