【ACL 2023】 The Art of Prompting Event Detection based on Type Specific Prompts

【ACL 2023】 The Art of Prompting: Event Detection based on Type Specific Prompts

论文：https://aclanthology.org/2023.acl-short.111/

代码：https://github.com/VT-NLP/Event_APEX

Abstract

我们比较了各种形式的提示来表示事件类型，并开发了一个统一的框架，将特定于事件类型的提示用于监督、少样本和零样本触发词事件检测。实验结果表明，定义明确且全面的事件类型提示可以显著提高事件检测性能，尤其是当标注数据稀缺（少样本事件检测）或不可用（零样本事件检测）时。通过利用事件类型的语义，我们的统一框架显示出比以前的最先进基线高达22.2%的F1分数增益。

Introduction

以往的研究进一步鼓励我们向前迈进一步，思考以下三个问题：（1）当训练数据丰富或稀缺时，选择提示是否重要？（2） ED（事件检测）提示的最佳形式是什么？（3） 如何最好地利用提示来检测事件提及？

为了回答上述研究问题，我们对每种事件类型的各种形式的提示进行了广泛的实验，包括（a）事件类型名称，（b）原型种子触发词，（c）定义，（d）基于事件类型名称及其预定义论元角色的事件类型结构，（e）基于自由论元的连续软提示，以及（f）更全面的事件类型描述（命名为APEX提示），其涵盖了提示（a）-（d）的所有信息。我们观察到：（1）通过考虑大多数形式的提示的事件类型的语义，特别是种子触发词和全面的事件类型描述，ED在所有设置下的性能都可以显著提高；（2） 在所有形式的事件表示中，基于全面描述的提示显示是最有效的，尤其是对于少样本和零样本ED；（3） 不同形式的事件类型表示提供了互补的改进，表明它们捕获了事件类型的不同方面和知识。

这项工作的贡献如下：

• 我们研究了各种提示来表示有监督和弱监督ED的事件类型，并证明了定义明确和全面的事件类型提示可以显著提高ED的性能和从旧类型到新类型的可转移性。
• 开发了一个统一的框架，以利用事件类型的语义，提示监督ED、少样本ED和零样本ED，并展示了最先进的性能，与强大的基线方法相比，F1-score提高了22.2%。

Problem Formulation

Setting of ED

supervised EE（SED）：我们遵循传统的监督事件检测设置，其中训练、验证和评估数据集覆盖相同的事件类型集。目标是学习用于识别和分类目标事件类型的事件提及的模型$f$。

few-shot ED（FSED）：有两个单独的训练数据集用于少样本事件检测：（1）覆盖旧事件类型（叫做base类型）的大规模数据集${\mathcal{D}}_{base}=\{(x_i,y_i){\}}_{i=1}^M$，其中$M$表示基本事件类型的数量；（2） 一个较小的数据集${\mathcal{D}}_{novel}=\{(x_j,y_j){\}}_{j=1}^{N\times K}$，它覆盖了$N$种新的事件类型，每个事件类型有$K$个例子。请注意，除了Other类之外，base事件类型和novel事件类型是不相交的。模型$f$将首先在${\mathcal{D}}_{base}$上进行优化，然后在Dnovel\mathcal{D}_{novel}D