普林斯顿陈丹琦组：以实体为问题中心，让稠密检索模型DPR光环暗淡

最新推荐文章于 2025-06-03 16:55:22 发布

PaperWeekly

最新推荐文章于 2025-06-03 16:55:22 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签：机器学习人工智能深度学习知识图谱计算机视觉

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/120558599

本文提出了一个名为EntityQuestions的数据集，显示DPR模型在处理以实体为中心的问题时表现逊于BM25。研究发现DPR存在实体流行度偏见和对特定问题模式的泛化能力不足。通过实验，作者指出段落编码器的改进和特定问题编码器的使用可以提高模型的泛化性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

©PaperWeekly 原创 · 作者 | Maple小七

学校 | 北京邮电大学硕士生

研究方向 | 自然语言处理

最近，以 DPR 为代表的稠密检索模型在开放域问答上取得了巨大的进展，然而，目前的稠密检索模型还无法完全替代 BM25 这类稀疏检索模型。本文作者构建了一个以实体为中心的问答数据集：EntityQuestions，并发现 DPR 模型在该数据集上的表现大幅落后于 BM25。经过分析，作者发现 DPR 只能泛化到那些具有常见实体和特定模板的问题上，并发现简单的数据增强策略无法提升模型的泛化性能，而训练一个更稳健的段落编码器和多个特定的问题编码器可以更好地缓解这个问题。

论文标题：

Simple Entity-Centric Questions Challenge Dense Retrievers

论文链接：

https://arxiv.org/abs/2109.08535

代码链接：

https://github.com/princeton-nlp/EntityQuestions

Introduction

虽然基于稠密向量检索的 DPR（dense passage retriever）模型在许多 QA 数据集上的整体表现大幅度超越了基于稀疏向量检索的 BM25，但是深度学习模型长尾泛化能力的不足一直是个业界难题。人们常常能够观察到模型在某些具有特定规律的 case 上表现不佳，并且这些 bad case 很难修复，常常只能靠一些非深度学习的算法来兜底。

本文正是构建了一个 DPR 表现很差但 BM25 表现很好的数据集：EntityQuestions，作者通过充分的实验表明 DPR 在以实体为中心的问题（entity-centric questions）上的泛化能力非常差。如下图所示，DPR 模型在 EntityQuestions 上的平均表现大幅低于 BM25（49.7% vs 71.2%），在某些问题类型上，DPR 和 BM25 的绝对差距可高达 60%（比如 Who is [E]'s child?）。