多车合作自动驾驶框架CoDrivingLLM：基于大语言模型驱动的决策框架

Abstract

目前，全球范围内已开始对联网自动驾驶汽车（CAVs）进行道路测试，但它们在复杂场景中的安全性和效率表现仍不令人满意。合作驾驶利用CAVs的连接能力，通过协同作用超越个体表现，使其成为在复杂场景中提高CAV性能的有前途方法。然而，缺乏交互和持续学习能力限制了当前的合作驾驶仅能应用于单一场景和特定的合作驾驶自动化（CDA）。为了解决这些挑战，本文提出了一种交互式和可学习的基于大型语言模型（LLM）的合作驾驶框架——CoDrivingLLM，以实现全场景和全CDA。首先，由于LLM不擅长处理数学计算，我们引入了环境模块，通过语义决策来更新车辆位置，避免了LLM直接控制车辆位置可能导致的错误。其次，基于SAE J3216标准定义的四个CDA等级，我们提出了一种基于思维链（COT）的推理模块，包括状态感知、意图共享、协商和决策，从而增强了LLM在多步骤推理任务中的稳定性。在推理过程中，通过冲突协调器进行集中化的冲突解决。最后，借助引入记忆模块和检索增强生成（RAG）技术，赋予了CAV从过去经验中学习的能力。我们通过对协商模块的消融实验、不同经验情况下的推理实验，以及与其他合作驾驶方法的对比验证了所提出的CoDrivingLLM。结果表明，我们的方法在复杂环境中提供了显著的安全性和效率优势，同时具备高效的交互和学习能力。

代码获取：https://github.com/FanGShiYuu/CoDrivingLLM

欢迎加入自动驾驶实战群

Introduction

随着自动驾驶技术的不断进步，我们正进入一个连接自动驾驶车辆（CAVs）和人类驾驶车辆（HDVs）共存的时代。虽然CAVs被认为在提升交通安全性和效率方面具有巨大潜力，但它们在开放道路上的当前表现仍远未令人满意。根据加利福尼亚机动车辆管理局的数据，51%的自动驾驶车辆脱离操作是由于CAVs决策失败导致的。此外，北京自动驾驶车辆道路测试报告显示，高达91%的脱离操作发生在与其他车辆交互过程中，表明现有自动驾驶技术尚未能应对复杂的交互场景。协同驾驶自动化（CDA）通过车辆间通信和协作提升道路安全和交通效率。SAE J3216标准将其分为状态共享、意图共享、寻求共识和指令四个层次。美国联邦公路管理局的CARMA项目是实现CDA的关键研究，旨在通过开源平台促进自动驾驶车辆与基础设施的协同。

研究方法主要包括基于优化、规则和机器学习的技术。优化方法在计算效率和性能之间寻求平衡；规则方法计算效率高但鲁棒性差；而机器学习方法在多个驾驶环境中表现良好，尽管在新环境中可能性能下降。

Transformer模型和大型语言模型（LLMs）为协同决策带来新机遇，尤其在处理稀有场景和提高决策可解释性方面。例如，Talk2Drive框架在多场景实验中显著降低了接管率。LLMs结合推理、解释和记忆功能，通过交互学习提升CAV决策能力。Dilu框架引入反思模块，进一步增强CAV学习能力。

当前研究多聚焦于单车决策，而基于LLMs的多车协同驾驶学习框架仍是未来探索重点，需整合不同方法优势，克服局限，以适应更广泛的交通场景。

在此背景下，鉴于协同驾驶在应对CAV在复杂场景中面临的挑战中的重要性，以及LLMs在增强CAV交互和学习能力中的潜力，本文提出了一种基于LLM的交互性和可学习性协同驾驶框架，以实现全场景和全CDA。

3.互动和可学习的LLM驱动协同驾驶框架

利用CAV（连接自动驾驶车辆）的协同驾驶能力可以显著提高交通系统的安全性和效率。然而，目前的研究通常集中于单场景、单功能的合作，导致互动能力不足，且缺乏持续学习能力。利用大型语言模型（LLM）的广泛世界知识和强大的推理能力，有望解决这些挑战，实现全场景和全层次的协同自动化，从而充分释放CAV改变交通系统的潜力。为此，本文提出了CoDrivingLLM：一个互动且可学习的基于LLM的协同驾驶框架，适用于所有场景和所有协同驾驶自动化。

CoDrivingLLM 主要包含三个模块：环境模块、推理模块和记忆模块。以下部分将首先介绍CoDrivingLLM的总体框架，然后详细解释各个模块。

A. 总体架构

图2展示了CoDrivingLLM的主要模块及其逻辑关系，包含三个核心模块：环境模块、推理模块和记忆模块。首先，环境模块基于上一时间步的CAV和HDV的行动更新当前场景信息，包括所有车辆的状态，如位置、速度等。接着，我们设计了一个集中-分布式耦合的LLM推理模块。基于SAE J3216标准定义的四个CDA层次，我们在此推理模块中整合了四个子功能：状态共享、意图共享、协商和决策。通过引入链式思维（Chain-of-Thought，COT）方法，我们在推理过程中依次连接每个子功能，增强决策的安全性和可靠性。在此过程中，每个CAV使用LLM进行分布式高级逻辑推理，完成不同层次的协同驾驶，并利用框架中的冲突协调器进行集中化冲突解决，进一步提高安全性。最后，推理过程中的场景描述、冲突描述和最终决策以向量化形式存储在记忆数据库中。在后续推理中，CAV可以参考最相似的过去记忆作为经验，使得设计的CAV能够在驾驶中持续学习和改进。