Robots humanoides

Existe una gran necesidad de datos multimodales para obtener una verdadera comprensión del entorno del robot. Reunir conjuntos de datos extensos para robótica supone un desafío y los datos sintéticos ayudan a abordar esta brecha de datos.

Crear: entrenar un robot para un conjunto diverso de entornos y objetos puede resultar rápidamente costoso y lento para los desarrolladores. Con los activos simulados como escenas, objetos y texturas visualmente diversas que utilizan el flujo de trabajo GR00T-Gen, se puede aplicar la aleatorización de dominios y crear políticas de robots efectivas en simulación e implementarlas en el mundo real.

Entrenar un robot humanoide con diversos escenarios y objetos robóticos

Generar: los robots de IA también pueden aprender de observaciones y replicación de acciones de demostraciones humanas. Con el flujo de trabajo GR00T-Mimic se pueden generar datos de movimiento y trayectorias a partir de demostraciones teleoperadas.

Teleoperación de un robot humanoide de Fourier

Comprimir: los robots humanoides confían en los datos visuales para percibir e interactuar con el entorno. Para que estos robots procesen de manera eficiente datos de imagen y vídeo en tiempo real y simulen eventos futuros en un entorno a través de un sistema de IA como puede ser un modelo mundial, el conjunto de tokenizadores neuronales NVIDIA Cosmos Tokenizer ayuda a preservar una mayor calidad de imagen, producen 8 veces la tasa de compresión y funcionan 12 veces mejor que los actuales métodos de vanguardia. NVIDIA Nemo se puede utilizar para entrenar o ajustar modelos de base de vídeo. 

1X está construyendo nuevos conjuntos de datos tokenizados de robots humanoides con alta compresión espacio-temporal utilizando NVIDIA Cosmos Tokenizer. 

Manipular con destreza 

La funcionalidad de agarre de los robots humanoides requiere capacidades de destreza en la manipulación de objetos similares a las humanas y la validación de los datos de agarre de robots exige conjuntos de datos a gran escala, un sistema de agarre de extremo a extremo capaz de realizar manipulación con alto nivel de destreza. GR00T-Dexterity es un conjunto de modelos y políticas que utiliza un enfoque basado en el aprendizaje por refuerzo y flujos de trabajo de referencia para desarrollarlos.

Galbot utilizó NVIDIA Isaac Lab e Isaac Sim para construir y validar un gran número de agarres y demostró una transferencia de cero disparo, simulada a real.

Movilidad de robots

La navegación polivalente, en entornos ruidosos y desordenados, requiere un ajuste exhaustivo. Con el nuevo flujo de trabajo de referencia GR00T-Mobility, se puede crear un dispositivo generalista de movilidad para desplazarse por los diversos entornos e implementaciones robóticas.

Entorno de almacén basado en Isaac Sim con escenarios de navegación humanoide, cuadrúpeda y de carretilla elevadora

Control de cuerpo completo 

El control de cuerpo completo de un robot humanoide puede suponer un desafío, ya que requiere una destreza estable en la manipulación y una locomoción fiable. GR00T-Control es un conjunto de modelos avanzados de planificación y control de movimiento, políticas y flujos de trabajo de referencia para agilizar el desarrollo de sistemas de control efectivos para robots humanoides. Esta suite incluye algoritmos sofisticados para gestionar los actuadores del robot, lo que garantiza movimientos precisos y coordinados.

Con GR00T-Control, se pueden entrenar políticas autónomas de movimiento de cuerpo completo sólidas a través del aprendizaje de imitación y demostrar el aprendizaje de habilidades de cuerpo humanoide completo para la destreza en la manipulación y locomoción a partir de conjuntos de datos teleoperados.

Percepción de robots basada en IA 

Para mejorar la conciencia situacional y la eficiencia en la interacción de los robots humanoides, los robots necesitan contar con memoria a largo plazo con detalles sobre eventos, espacios, configuraciones personalizadas y respuestas conscientes sobre el contexto.

GR00T-Perception es un conjunto de bibliotecas de percepción, modelos de base y flujos de trabajo de referencia creados utilizando Isaac Sim e Isaac ROS.

Orquestación de cargas de trabajo robóticas

El servicio de orquestación NVIDIA OSMO es nativo de la nube, flexible y con trazabilidad de datos; puede asignar trabajos informáticos a diferentes recursos y ofrecer productividad al desarrollador mientras gestiona una gama de cargas de trabajo de robótica en tiempo real. OSMO es compatible con los flujos de trabajo del Proyecto GR00T.