github_38060285的博客

在这项工作中，我们旨在综合机器人轨迹，即6-DOF最终效应器航路点的密集序列，以鉴于开放设置的指令和开放设置的对象，以进行多种操纵任务。更重要的是，通过利用其代码编写功能，他们可以与视觉模型（VLM）进行交互，以构成3D值图，以将知识融入代理的观察空间中。然后，组成的值地图将在基于模型的计划框架中使用，以零击综合闭环机器人轨迹具有鲁棒性，对动态扰动。比较容易复现，过程中没有遇到bug，接下来就看怎么生成的３dmap了，如果可以真的很想迁移这部分，感觉有点cool。

这篇工作主要是作者通过结合aloha+rlbench，构建了一个非常方便的仿真环境，比较容易复现，适合新手仿真入门．RLBench本身支持Pandas，Coppliasim也包含有UR，KUKA，Sawyer等机械臂，作者git已经兼容了对UR、Sawyer、Pandas机械臂的支持。作者的git:https://github.com/Boxjod/RLBench_ACT。

将持续更新各种robot simulation环境的安装过程．。

参考教程：http://www.rosrobot.cn/?下载安装Aloha功能包。

UMI 采用手持式夹具，加上精心的界面设计，可实现便携式、低成本和信息丰富的数据收集，以进行具有挑战性的双手和动态操作演示。配备这些功能后，UMI 框架解锁了新的机器人操作功能，只需更改每个任务的训练数据，即可实现零样本可推广的动态、双手、精确和长视野行为。我们通过全面的现实世界实验展示了 UMI 的多功能性和有效性，其中通过 UMI Zeroshot 学习的策略在对不同的人类演示进行训练时可以推广到新的环境和对象。项目主页：https://umi-gripper.github.io/

复现aloha增加航点预处理，代码根据官方代码链接：https://github.com/lucys0/awe。因为是在远程和local都安装过一次，遇到问题有点频繁，所以安装过程和问题一起写的，应该是挺全了。Q７.　如果报错： No module named ‘modern_robotics’这里我们只复现不做代码解析，详情还是看aloha两篇论文一起理解下～

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB。报错信息在这里注意一下版本问题，我踩到了pydantic的报错，找了很久，最后发现是版本问题．权重开放：https://huggingface.co/THUDM/chatglm-6b。项目代码https://github.com/THUDM/ChatGLM-6B。

用于目标检测任务的一个主动学习算法，paper:abstract:尽管图像识别的主动学习取得了实质性进展，但仍然缺乏专门用于目标检测的实例级主动学习方法。在本文中，我们提出了多实例主动对象检测（MI-AOD），通过观察实例级不确定性来选择信息最丰富的图像进行检测器训练。MI-AOD定义了实例不确定性学习模块，它利用在标记集上训练的两个对抗性实例分类器的差异来预测未标记集的实例不确定性。

可能自己真的太菜了，装ubuntu后步步是坑。安装NVIDIA：1，下载NVIDIA-Linux-x86_64-390.87.run，https://www.geforce.cn/drivers，根据自己打设备来。下载前可以用此命令查看驱动信息，而我下载的比较新，也没有出现问题。sudo apt-cache search nvidia*2，卸载原有的nvidia驱动终端运行：sud...

准备将之前无人机上的x86多源数据采集和联合标定算法重建在新板子jetson orin上，解决之前采集数据时间戳没对齐的问题。

通过将图像形成过程分解为去噪自动编码器的顺序应用，扩散模型 (DM) 在图像数据及其他方面实现了最先进的合成结果。此外，他们的公式允许一种指导机制来控制图像生成过程，而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，因此强大的 DM 的优化通常会消耗数百个 GPU 天，并且由于顺序评估，推理成本很高。为了在有限的计算资源上进行 DM 训练，同时保持其质量和灵活性，我们将它们应用在强大的预训练自动编码器的潜在空间中。

YOLOv5 DeepSORT是视频检测跟踪算法，结合了YOLOv5的目标检测和DeepSORT的目标跟踪能力。它具备实时性能、高准确性以及稳定的目标跟踪能力，为行人和车辆等实时监测和分析提供了有效的解决方案。直接在github找的综合代码，没有做分别训练，因为我要实现的就一个类，所以直接用的yolov5m.pt，主要在跟踪上．。

从人类演示中进行的模仿学习在机器人技术中表现出了令人印象深刻的表现。然而，大多数结果都集中在桌面操作上，缺乏一般有用任务所需的移动性和灵活性。在这项工作中，我们开发了一种用于模仿双手且需要全身控制的移动操纵任务的系统。我们首先推出 Mobile ALOHA，这是一种用于数据收集的低成本全身远程操作系统。它通过移动底座和全身遥控操作界面增强了 ALOHA 系统。然后，我们使用 Mobile ALOHA 收集的数据执行监督行为克隆，并发现与现有静态 ALOHA 数据集的联合训练可以提高移动操作任务的性能。