（论文阅读）Minerva： 散步并到达答案：知识图谱路径推理的强化学习方法

一、摘要和引言

摘要：
无论是自动构建的还是人工构建的知识库(KB)通常都是不完整的——通过综合现有信息，可以从知识库中推断出许多有效的事实。知识库补全的一种流行方法是，通过在连接一对实体的其他路径上组合推理，找到的信息来推断新的关系。考虑到KBs的巨大规模和路径的指数数量，以前的基于路径的模型只考虑了预测给定两个实体的缺失关系的问题，或评估提议的三元组的真实性。此外，这些方法传统上使用固定实体对之间的随机路径，最近也学会了在固定实体对之间选择路径。我们提出了一个新的算法MINERVA，它解决了更困难和实际的任务，即回答那些已知关系但只有一个实体的问题。由于随机行走在目的地未知的环境中是不切实际的，并且从一个开始节点有许多路径组合，我们提出了一种神经强化学习方法，学习如何在输入查询条件下导航图以找到预测路径。在对七个知识库数据集的综合评价中，我们发现MINERVA与许多当前最先进的方法具有竞争力。
引言：
本文提出了一种基于输入问题的强化学习(RL)的有效搜索提供答案路径图的方法，消除了任何预先计算路径的需要。给定一个海量的知识图，我们学习一个策略，该策略，给定查询(entity₁,relation，?)，从entity₁开始，根据查询关系和整个路径历史，在每一步选择一个标记的关系边，学习走到答案节点。这将查询-回答任务定义为一个强化学习(RL)问题，其目标是采取最优决策序列(关系边的选择)来最大化预期回报(到达正确答案节点)。我们称RL代理MINERVA为“在实体的网络中漫游，以达到不同的答案。”
本文的主要贡献有:
(a)提出了agent MINERVA，该agent通过在以输入查询为条件的知识图上行走，当查询到达答案节点时停止。代理使用强化学习训练,特别是政策梯度；
（b）我们在几个基准数据集上评估MINERVA，并与神经定理证明器(NTP)、和神经LP进行比较，他们能在KBs中进行逻辑规则学习，以及最先进的基于嵌入的方法，如DistMult， ComplEx，ConvE
（c）我们还扩展了MINERVA来处理部分结构化的自然语言查询，并在WikiMovies数据集上测试它
我们还将其与DeepPath (Xiong等人，2017)进行比较，后者使用强化学习在实体对之间选择路径。主要的区别是，他们的RL代理的状态包括答案实体，因为它是为预测一个事实是真的还是假的更简单的任务而设计的。因此，他们的方法不能直接应用于我们更有挑战性的查询回答任务，其中第二个实体是未知的，必须推断。然而，与实验设置相比，MINERVA在其NELL-995基准数据集上的表现要好于DeepPath。