NVIDIA GR00T-Dreams 助力光轮智能革新合成数据,推动具身 AI 现实场景落地

作者 梁潇

在具身 AI (Embodied AI) 迅猛发展的浪潮中,数据被视为突破的核心。如何为日益智能的机器人提供海量、多样且高质量的训练数据,加速其在现实世界的部署,是整个行业面临的共同挑战。传统依赖人工演示或遥操作的数据收集方式,效率低下且受限于物理世界的诸多约束。而如今,光轮智能借助 NVIDIA GR00T-Dreams,成功开创了一个全新的合成数据生成体系,赋能具身 AI 的快速发展。

NVIDIA GR00T-Dreams:虚拟世界的数据引擎

NVIDIA GR00T 项目自 2024 年推出以来,目标就是为人形机器人构建一个强大的通用基础模型,使其能够处理多模态指令并根据过往交互产生合理的动作。随着 GR00T N1.5 的推出,NVIDIA 进一步提升了该模型的推理能力和任务执行能力,尤其是在物料搬运和制造等复杂任务中。

GR00T-Dreams 基于 NVIDIA Cosmos 平台,它能够仅凭一张图像和简单的文本提示,在虚拟环境中快速生成海量、带有精确动作标签和逼真物理交互的合成数据。这为机器人训练提供了丰富的数据源。

GR00T-Dreams 的核心优势在于:它不依赖于真实世界的数据采集,而是利用生成式 AI 和世界基础模型,在虚拟环境中生成逼真且多样的数据,极大地减少了时间和物理限制。这种方式使得机器人可以在数小时内从零开始学习并掌握复杂的任务,极大地提高了训练效率和泛化能力。

光轮智能利用 GR00T-Dreams 进行合成数据革新

作为合成数据领域的创新者,光轮智能深度融合 GR00T-Dreams 的工作流,并将其应用于多种实际场景中。通过将 GR00T-Dreams 蓝图与自有技术相结合,光轮智能创造了一个高效、可扩展的合成数据生成平台,从而大幅提升具身 AI 训练的质量和速度。

  • 高效仿真数据生成:

    光轮智能将高质量仿真环境与 GR00T-Dreams 结合,成功构建了一个全新的数据生成平台。光轮智能的虚拟环境包括各种复杂的场景和物理交互,例如厨房、仓库、生产线等。机器人可以在这些仿真环境中,通过与物体的互动,学习到抓取、放置、折叠、搬运等多种操作。

    通过 GR00T-Dreams,光轮智能能够从一张图像和简单的指令生成数以百万计的训练数据,结合光轮智能自有的高质量可泛化的场景,将 GR00T-Dreams 的能力放大数百倍。这不仅节省了数据收集的成本和时间,还使得训练数据质量更好、更加多样化,覆盖了机器人可能面临的各种场景。

  • 弥补真实遥操作数据的局限:

    尽管真实遥操作数据可以提供相对精确的训练信息,但由于其依赖人工操作,且每次采集都需要大量的时间和资源,可扩展性较差。借助 GR00T-Dreams,光轮智能能够生成大量虚拟数据,有效扩增和增强真实数据集。特别是在高风险或任务繁重的场景中,机器人得以在安全、高效的虚拟环境中自主训练,显著提升了在复杂多变物理环境中的适应性和执行能力。

  • 精准高效的任务特定数据生成:

    GR00T-Dreams 能够根据指令精确生成针对特定任务目标的数据集 (如仓储管理中的抓取、搬运、堆放)。这使光轮智能能够为机器人定制高度相关的训练数据,无需逐一录制人工演示。在需要高精度执行的任务 (如机械臂精细操作) 中,这种能力尤为关键,能够帮助机器人精确模仿动作并处理复杂情况,提升最终执行效率与准确性。

光轮智能新合成数据产线微调 GR00T N1.5:精细化提升机器人能力

光轮智能不仅创新性地运用了 GR00T-Dreams 生成的合成数据,还建立了一条新的合成数据产线,用于对 GR00T N1.5 模型进行微调。这一产线结合了光轮智能的先进仿真技术、生成式 AI 及高质量数据生成平台,成功提升了 GR00T N1.5 在复杂环境中的执行能力。

  • 定制化训练数据生成:光轮智能通过合成数据产线,能够为 GR00T N1.5 提供更为定制化的训练数据。这些数据不仅包括基础的动作序列,还涵盖了机器人与物体、环境之间复杂的物理交互。这使得 GR00T N1.5 可以在特定场景中进行细致的微调,例如在物料搬运、抓取精度等任务中,机器人能够表现得更加稳定和高效。
  • 高效的仿真到现实迁移:通过新合成数据产线生成的高质量数据,GR00T N1.5 可以在模拟环境中进行多轮训练和微调,不仅减少了对真实环境中人工数据的依赖,还显著缩短了训练周期。微调后的 GR00T N1.5 在实际环境中的表现更加精确,能够在更复杂的环境中执行任务,如智能家居、仓储物流等实际应用场景。
  • 扩展性与可持续性:光轮智能的新合成数据产线通过灵活配置和扩展,能够根据不同任务的需求,快速生成大量任务特定的数据集。与传统的数据收集方法相比,光轮智能的数据生成平台不仅提升了数据的多样性,还降低了长期维护的成本。此外,通过自动化生成数据并进行微调,光轮智能大幅提高了机器人在各种未知环境中的适应性和执行力,推动了具身 AI 技术的可持续发展。

光轮智能的创新应用:推动具身 AI 在现实场景中的落地

光轮智能不仅在合成数据生成上取得了突破,还将 GR00T-Dreams 的创新成果成功应用于多个具身 AI 领域,推动了机器人在现实环境中的快速部署。

  • 智能家居与服务机器人:在家居环境中,光轮智能与 GR00T-Dreams 的结合推动了智能服务机器人技术的发展。通过合成数据生成,光轮智能不仅为机器人提供了大量高质量的家居任务训练数据,还能够模拟诸如扫地、擦桌、整理物品等复杂任务。在这些任务中,机器人能够应对光线变化、物体位置变化等多变的环境因素,极大提升了家居机器人的智能化水平。
  • 智慧农用机器人:在农业领域,光轮智能将 GR00T-Dreams 应用于农业机器人,例如草莓采摘任务。通过合成数据生成,光轮智能创建了高度逼真的虚拟农场环境,模拟草莓植株的生长状态、果实成熟度、光照变化以及地形不平坦等因素。机器人能够在这些仿真场景中学习精细的抓取动作,避免损伤果实,同时优化路径规划以提高采摘效率。
  • 自动化仓储与物流:光轮智能利用 GR00T-Dreams 在仓储与物流领域进行了创新应用。通过在仿真环境中生成大量的仓库布局、货物位置和搬运任务数据,光轮智能成功提升了机器人在自动化仓储中的表现。与传统的数据采集方式相比,合成数据不仅提高了训练的效率,还使得机器人能够在面对未知布局和突发情况时迅速做出反应,提升了仓储系统的自动化水平。
  • 智能制造:在制造业领域,光轮智能通过与 GR00T-Dreams 的结合,助力机器人在智能生产线上的应用。通过高质量仿真数据的微调,机器人在多种生产任务中展示了高效与精确的表现,无论是在组装、搬运还是物料处理过程中,都能稳定完成复杂的工作。

光轮智能基于 GR00T-Dreams 生成 LeRobot 训练数据,加速 LeRobot 走进千家万户

LeRobot 是由 Hugging Face 推出的开源机器人学习平台,旨在降低机器人研发门槛并推动具身 AI 的普及。其主推的 SO-101 型号机械臂硬件构成全部开源,且性价比优异,为其成为消费级机器人走进千家万户奠定了基础。

为了掀起机器人全民化浪潮,光轮智能瞄准家居厨房场景,希望通过微调 GR00T N1.5 并部署到 LeRobot 完成各项厨房任务。面对复杂的家居任务场景,通过真实遥操作并录制的方式解决各个任务的数据采集问题,存在精细执行容易出错、效率较低、成本较高等问题。因此,光轮智能利用 GR00T-Dreams,解决真实遥操作数据的规模效率问题。

在实践中,光轮智能先通过少量真实采集数据以及仿真采集数据,对 GR00T-Dreams 进行微调,让它对 LeRobot 的构造有全面正确的理解后,再进行真实环境特定任务的数据的生成,如下所示:

GR00T-Dreams 通过少量专家数据,结合 GR00T-Dreams 生成的数据,比例约为 1:10,光轮智能高效微调 GR00T N1.5 并实机部署到了 LeRobot 上,效果如视频所示:

共创具身 AI 的未来

通过利用 GR00T-Dreams 生成的合成数据并结合新合成数据产线的微调技术,光轮智能推动了 GR00T N1.5 在多个实际应用场景中的能力提升。无论是在家居、仓储还是制造业等领域,光轮智能的创新应用不仅加速了机器人的训练过程,还显著提升了其在复杂环境中的适应性和执行效率。这种基于合成数据的革新方法,彻底改变了传统数据依赖的瓶颈,为具身 AI 的规模化部署铺平了道路。

展望未来,NVIDIA 将持续优化 GR00T-Dreams 技术栈,并深化与光轮智能等伙伴的合作,致力于推动机器人技术从虚拟仿真向现实世界的无缝迁移,实现更高水平的自主性和智能化。我们相信,通过 GR00T 这样的基础模型和 GR00T-Dreams 这样的数据引擎,结合生态伙伴的创新应用,机器人将更好地融入人类社会,解决劳动力挑战,提升生产效率,开启物理 AI 新时代的无限可能。

*本文中图片和视频均由光轮智能提供,如果您有任何疑问或需要使用图片及视频,请联系光轮智能。