DriveLM: Driving with Graph Visual Question Answering代码实战

代码地址见文末

一、算法 Pipeline 梳理

（一）任务分解

DriveLM 将自动驾驶任务分解为多个关键阶段，各阶段紧密衔接以实现完整的驾驶决策流程。感知阶段（P1）负责识别、描述和定位当前场景中的关键物体，为后续决策提供基础信息；预测阶段（P2）基于感知结果估算关键物体可能的动作或交互行为，帮助系统预判环境变化；规划阶段（P3）则确定自车可能采取的安全动作，形成初步的决策方案；行为阶段（B）对驾驶决策进行分类，明确自车的行为模式；运动阶段（M）则生成自车未来轨迹的路点，指导车辆具体的运动控制。

（二）各阶段代表性问题

在感知阶段，核心问题包括当前场景中的重要物体有哪些、物体 X 的运动状态如何以及物体 X 的视觉描述等，这些问题旨在全面理解场景中的物体信息。预测阶段关注物体 X 的未来状态、物体 X 是否会出现在自车的行驶方向上，以及自车到达下一个可能位置时应首先 / 其次 / 第三注意哪些物体，以实现对环境变化的预判。规划阶段则聚焦于基于物体 X 的观察自车可采取哪些动作、自车哪些动作会导致与物体 X 碰撞，以及在该场景下自车的安全动作是什么，从而生成合理的驾驶决策。