Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-E

Mars_prime

已于 2024-03-23 16:12:23 修改

阅读量839

点赞数 16

CC 4.0 BY-SA版权

分类专栏： LLM 文章标签：算法自然语言处理 LLM

于 2024-03-19 19:13:08 首次发布

本文链接：https://blog.csdn.net/Mars_prime/article/details/136840982

Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint
----
通过上下文信息熵约束的自适应解码来识别和解决知识冲突

中国科学院自动化研究所复杂系统认知与决策智能实验室

2中国科学院大学人工智能学院

3北京人工智能研究院

4云知声人工智能科技有限公司

摘要

大型语言模型在预训练过程中内化了大量的参数知识。同时，现实的应用程序需要外部上下文知识来帮助底层任务的模型。这引发了一个被称为知识冲突的关键困境，即上下文知识与参数知识发生冲突。然而，现有的解码工作专门用于解决知识冲突，并且在没有冲突的情况下可能会无意中降低性能。在本文中，我们提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以识别知识冲突是否发生并解决它们。它可以提高模型对冲突上下文的忠实度，同时在非冲突上下文中保持高性能。我们的实验表明，COIECD 在现实数据集中的知识冲突方面表现出强大的性能和鲁棒性。代码可用。

1 简介

大型语言模型 (LLM) 的特点是参数内含大量知识（Petroni 等人，2019；Geva 等人，2021b；Roberts 等人，2020），在各个领域开创了众多突破（Vaswani 等人）等人，2017 年；Devlin 等人，2018 年；Brown 等人，2020 年；Chung 等人，2022 年；Touvron 等人，2023 年）。与此同时，LLM与不太流行的事实知识作斗争（Mallen 等人，2023），从根本上无法随着时间的推移而适应（Lazaridou 等人，2021；Kasai 等人，2022）并且容易出现幻觉（Shuster 等人，2022）。 2021）。这些挑战需要通过检索（Shi et al., 2023b）或应用工具（Schick et al., 2023）来纳入非参数知识源。然而，它引发了一个尖锐的困境：Longpre 等人定义的知识冲突。（2021），其中非参数上下文知识与内部参数知识冲突。先前的工作（Longpre et al., 2021; Chen et al., 2022; Li et al., 2023a; Zhou et al., 2023; Wang et al., 2023c）已经指出，当面对冲突时，较大的模型具有更大的当给定的上下文与模型的参数知识相矛盾时，倾向于忽略给定的上下文。如图 1 所示，由于模型对其参数知识的偏见，它无法在相互冲突的上下文中得出答案。

图1：知识冲突的说明。由于模型对其过时的参数知识的偏见，它无法在最新的上下文中准确地给出答案，这与LM的知识相冲突。

知识冲突解决方法的早期尝试通过数据增强来微调像 T5 (Raffel et al., 2020) 这样的小规模模型，例如 KAFT (Li et al., 2023a) 和 DisentQA (Neeman et al., 2023a) 和 DisentQA (Neeman et al., 2023a)。，2023）。这些微调方法存在破坏模型内在语言能力的风险（Dong et al., 2023）。另一系列工作在推理过程中采用了各种解码策略。例如，对比解码（CD）（Li et al., 2023b; Wang et al., 2023a）利用上下文影响的差异对模型高概率单词的概率分布进行解码。另一种代表性方法是上下文感知解码（CAD）（Shi et al., 2023a），它利用 CD 来放大所有单词的上下文分布。然而，在没有冲突的情况下，现有的解码方法可能会无意中降低性能。如图 2 所示，虽然这些方法有效地缓解了知识冲突对参数记忆的过度依赖，但它们的性能在从 NaturalQuestions 数据集派生的非冲突数据上恶化。通常，这些方法通常在实验场景下工作，其中所有上下文都被假定为固有冲突，而不考虑现实场景中是否存在冲突。因此，我们认为核心问题在于：如何在推理过程中辨别上下文和LLM之间的知识冲突。

为此，本文提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），旨在识别知识冲突并对冲突和非冲突数据采用不同的策略。鉴于 LLM 往往经过良好校准（Kadavath 等人，2022）并且它们的世代通常位于狭窄且几乎平坦的熵带中（Arora 等人，2023），我们采用了一种自适应解码策略，该策略仅减轻当 LLM 生成的token违反熵信息约束（带）时会发生冲突。具体来说，在识别知识冲突时，