DexGraspVLA代码分析

已于 2025-06-08 09:56:59 修改
阅读量335 收藏 5
点赞数 3
CC 4.0 BY-SA版权
文章标签： 人工智能
于 2025-06-07 09:39:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rodineye/article/details/148416789

文章目录

概要

https://github.com/Psi-Robot/DexGraspVLA

逐步更新

整体管线

在这里插入图片描述

参见inference.py run_manual和run_planner函数

RGBM数据（MASK）

在这里插入图片描述

DP多模态输入

在这里插入图片描述入口在controller/model/vision/obs_encoder.py 195-214行，详细实现在controller/model/vision/obs_encoder.py
18-217 行

在这里插入图片描述

DP

这个模块基本是固定的玩法，act++和idp3中的dp实现都是这样

在这里插入图片描述

入口 controller/policy/dexgraspvla_controller.py 234行，forward函数

数据流程

在这里插入图片描述

具体的类

在这里插入图片描述
inference.py 45行 class RoboticsSystem
在这里插入图片描述
planner/dexgraspvla_planner.py 16行 class DexGraspVLAPlanner
在这里插入图片描述
controller/policy/dexgraspvla_controller.py 24行 class DexGraspVLAController

rodineye
关注
人工智能 - DexGraspVLA：重新定义机器人灵巧抓取的视觉-语言-行动框架
03-05 490
的深度融合，重新定义了机器人灵巧抓取的边界。其分层架构与数据高效性不仅解决了长期存在的泛化难题，更为通用机器人操作提供了可扩展的解决方案。随着开源生态的完善，这一技术有望在家庭、工业与医疗领域掀起新一轮智能化浪潮。传统方法依赖精确的物体建模与规则化控制，但在复杂场景（如杂乱环境、未知物体、动态光照）中泛化能力有限。2025年，灵初智能团队推出的。，通过融合视觉（Vision）、语言（Language）与动作（Action），首次实现了在未见过的物体、光照及背景组合下超过。，为通用机器人操作提供了全新范式。
成功率极高！北大最新DexGraspVLA：首个灵巧抓取的分层VLA
CV_Autobot的博客
03-06 882
点击下方卡片，关注“具身智能之心”公众号作者 |Yifan Zhong等 编辑 |具身智能之心本文只做学术分享，如有侵权，联系删文>>点击进入→具身智能之心技术交流群更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。灵巧抓取仍然困难灵巧抓取在机器人领域中仍是一个基础且具有挑战性的问题。通用机器人必须能够在任意场景中抓取各种物体。然...
VLA论文精读（十）DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
nenchoumi3119的博客
04-11 1474
是一篇关于灵巧手抓取的VLA模型，并创建了一个开源数据集，尽管如此我还是觉得这篇论文内容不够丰满，特别是在模型对比上只和自己进行了消融实验，但文章中的实验却说明了其具备极强的泛化能力。
CVPR 2025 | MoManipVLA：通用移动操作VLA策略迁移！
CV_Autobot的博客
03-28 701
尽管 MoManipVLA 在多任务上取得显著进展，但其仍依赖预训练模型的质量、存在搜索空间非凸局部最优问题以及长时任务规划不足，未来将通过引入全局优化方法、基于学习的搜索策略和集成任务规划模块等手段加以改进。实验结果显示，在仅 50 个样本的微调下，真实环境任务的成功率已达到 40%，证明了该方法在数据稀缺场景下的有效性。然而，现有的 VLA 研究主要聚焦于固定底座操作，由于缺乏对移动底座动作的预测能力，使其难以直接应用于移动操作场景。然而，现有的移动操作框架缺少大规模预训练，导致整体泛化性低下。
UC Berkeley最新！将sim-to-real的强化学习应用于视觉人形机器人灵巧操作！
CV_Autobot的博客
03-24 699
Tony 等，2024）。在机器人应用场景中，还面临环境建模不精确的难题，难以准确模拟现实环境的复杂性，以及奖励函数设计困难的问题，难以制定合理有效的奖励机制引导智能体学习，同时在高维动作和感知空间中探索效率较低，学习过程缓慢。具体来说，先从制造商提供的机器人模型文件出发，随机采样参数组合初始化多个模拟环境，接着在真实机器人硬件和模拟环境中并行执行关节位置目标的校准序列，通过比较跟踪误差，选择能最小化均方误差的参数集，从而优化机器人和环境的建模，减少手动调优的工作量，提高仿真与现实的契合度。
DexGraspVLA怎么读？
08-08
如果您有音频工具，可以尝试用 Python 的 `pygame` 库生成发音（参考代码示例）： ```python import pygame pygame.mixer.init() # 模拟发音：分解为 "Dex Grasp V L A" pygame.mixer.Sound.play(pygame.mixer.Sound...
zip I/O error: No space left on device zip error: Output file write failure (write error on zip file) (dexgraspvla) root@autodl-container-459d488f2d-c9f9d958:~/DexGraspVLA#
最新发布
08-12
2. **原因分析**：为什么发生。 3. **解决方案**：逐步指导。 4. **预防措施**：如何避免。 5. **相关问题**：生成相关问题。 使用中文回答。 现在，构建回答： - 开头：确认问题。 - 中间：详细步骤。 - 结尾：...
hydra.errors.MissingConfigException: Primary config module 'agent..home.fishros.hdx.DexGraspVLA.agent.config' not found. Check that it's correct and contains an __init__.py file
07-17
我们遇到了一个Hydra配置相关的错误：`hydra.errors.MissingConfigException: Primary config module 'agent..home.fishros.hdx.DexGraspVLA.agent.config' not found.`，这个错误表明Hydra在尝试加载主配置模块时...
(dexgraspvla) root@autodl-container-459d488f2d-c9f9d958:~/DexGraspVLA# python train.py --config-name train_dexgraspvla_controller_workspace Using cache found in /root/.cache/torch/hub/facebookresearch_dinov2_main /root/.cache/torch/hub/facebookresearch_dinov2_main/dinov2/layers/swiglu_ffn.py:43: UserWarning: xFormers is available (SwiGLU) warnings.warn("xFormers is available (SwiGLU)") /root/.cache/torch/hub/facebookresearch_dinov2_main/dinov2/layers/attention.py:27: UserWarning: xFormers is available (Attention) warnings.warn("xFormers is available (Attention)") Error executing job with overrides: [] Error in call to target 'controller.model.vision.obs_encoder.ObsEncoder': TypeError("unsupported operand type(s) for |: 'type' and 'NoneType'") full_key: policy.obs_encoder Set the environment variable HYDRA_FULL_ERROR=1 for a complete stack trace. 代码执行训练的时候出现以上报错，请问可能是什么原因导致的？首先我可以保证代码没有问题，python版本是3.9.23
08-12
#### 根本原因分析 错误信息核心： ```python TypeError: unsupported operand type(s) for |: 'type' and 'NoneType' ``` 表示代码中出现了类似这样的无效类型注解： ```python variable: type | None = ... # 错误...
【AI论文】高效智能体：在降低成本的同时构建高效能智能体
m0_66899341的博客
08-08 771
本研究系统探究了大型语言模型(LLM)智能体的效率与效能平衡问题，针对当前智能体系统运营成本高昂的痛点，通过GAIA基准测试集实证分析了LLM主干模型选择、框架设计和扩展策略的影响。研究发现：1)任务复杂度存在最优阈值；2)额外模块的边际效益递减；3)框架优化可显著提升效率。基于此开发的EfficientAgents框架，在保持96.7%性能的同时降低28.4%成本，实现"通过成本"指标优化。研究为构建经济高效的智能体系统提供了实证依据和方法指导，推动AI解决方案的可持续发展。
强化学习-MATLAB
weixin_45302337的博客
08-09 473
black box -> machine learning不需要标签，根据内在特征进行聚类等相似操作；这就是ML所擅长的，从数据中找出特征进而得到label；序列行为实现最优的回报；可以将policy使用深度神经网络这也是DRL的由来；RL算法的作用就是基于观测，奖励等去优化策略，以采取最优动作进而获得最大回报；所以，RL就是一个优化问题：与其他优化问题区分开来：关键点：评估状态价值，将能够使得智能体获得更高回报，而不是只是关注即时奖励；如果不能够评估状态价值，很有可能导致Agent陷入利用（贪婪）的状态，
教程 | 使用SAHI结合supervision进行小目标检测
热爱分享，热爱记录
08-07 1152
NMS 通过基于置信度分数消除冗余的检测结果来工作，而 NMM 则将重叠的检测结果合并，以增强对跨越多个图块的对象的表示。它将大图像分割成较小的切片，对每个切片进行推理，然后合并结果，以形成整个图像的最终检测结果。将图块数量增加到 5x5 网格，我们实际上是对图像进行了放大，这样模型就能捕捉到更精细的细节，比如之前可能遗漏的更小、更远的物体。在深入探讨用于小目标检测的SAHI技术之前，先看看经过微调的模型在未经任何预处理或切片的原始图像上的表现是很有帮助的。经过一些测试后，我发现最佳方法是检测人的头部。
CVPR 2025 | 即插即用，极简数据蒸馏，速度up20倍，GPU占用仅2G
AImokuai的博客
08-11 585
本文提出了一种创新的神经特征函数匹配（NCFM）方法用于高效数据集蒸馏。该方法通过构建minmax对抗优化框架，引入神经特征函数差异（NCFD）作为新的分布度量指标，在复数空间实现数据特征的对齐。NCFM具有三大创新点：1）基于复数相位和振幅解耦的神经特征函数度量；2）动态采样网络实现高效计算；3）层级式特征对齐机制。实验表明，在CIFAR-100等数据集上，NCFM相比现有方法内存消耗降低300倍，处理速度提升20倍，同时保持无损压缩效果，为低资源环境下的模型训练提供了新范式。该方法在边缘计算、隐私保护数
快速了解svm算法
wzdzgdf的博客
08-08 1464
如果你刚接触机器学习，一定听过各种算法的名字：决策树、神经网络、SVM… 其中 SVM（支持向量机，Support Vector Machine）作为经典的监督学习算法，在分类任务中曾长期占据 “顶流” 地位，至今仍在很多场景中发挥重要作用。今天这篇文章，带你快速搞懂 SVM 的核心逻辑、关键概念和实际价值。
计算机视觉第一课opencv（一）保姆级教学
m0_74977182的博客
08-07 1572
从 OpenCV 的安装（Windows/Linux/Mac 全平台覆盖），到第一个程序的编写与运行；从如何读取、显示、保存图片，到像素的基本操作（如修改颜色、裁剪图像），每一步都附带完整代码和清晰注释。无需高深的数学知识，也不用提前了解图像处理原理，跟着教程敲代码，你会发现：原来用几行代码就能让计算机 “看见” 并处理图像！我们还会用实例拆解常见报错的解决办法，帮你避开入门时的各种 “坑”。读完这个系列，你将掌握 OpenCV 的基础操作，为后续学习图像滤波、边缘检测、目标识别等进阶内容打下扎实基础，轻松
成本低至1.5元/天，小智AI服务端，完整解决方案，高可用+可扩展
u010522887的专栏
08-09 677
本文分享了，`小智AI服务端`的一种`低成本、高可用`的完整解决方案。
几个概率分布在机器学习应用示例
gongdiwudu的专栏
08-08 1107
在这份快速指南中，我们将介绍最重要的分布——从始终公平的均匀分布，到钟形的正态分布，计数点击的泊松分布，以及二元选择的二项分布。没有复杂的数学，只有清晰的概念、真实的例子，以及为什么它们重要。
DAY 38 Dataset和Dataloader类
weixin_59002083的博客
08-09 995
核心结论定义数据的内容和格式数据存储路径/来源（如文件路径、数据库查询）。原始数据的读取方式（如图像解码为PIL对象、文本读取为字符串）。样本的预处理逻辑（如裁剪、翻转、归一化等，通常通过`transform`参数实现）。返回值格式（如`(image_tensor, label)`）。定义数据的加载方式和批量处理逻辑批量大小（`batch_size`）。是否打乱数据顺序（`shuffle`）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值