chaojianmo的博客

Attention-Based Recurrent Neural Network Models for Joint Intent Detection 基于attention的encoder-decoder神经网络模型在机器翻译领域取得成功，本文将该模型用于意图识别和槽位填充的联合学习。由于槽位填充任务不像机器翻译任务，槽位填充中输入文本和输出标签的对齐是明确的，文中探索了不同的方法，将对齐信息融入到模型中。另外，在基于attention的encoder-decoder的模型的基础上，进一步提出一种结合了注意

论文：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 关系分类中的的一个挑战是决定分类的重要信息再句子中的位置是不确定的，本文提出基于注意力机制的bi-lstm模型，能捕获句子中最重要的语义层面的信息。 模型主要由五个部分组成： （1）输入层：输入句子 （2）Embedding层：将词映射到低维稠密向量 （3）LSTM层：获取高阶特征 （4）Atte..

1，概述 　　对于seq2seq模型类的对话系统，无论输入是什么，都倾向于生成安全，通用的回复（例如 i don't know 这一类的回复），因为这种响应更符合语法规则，在训练集中出现频率也较高，最终生成的概率也最大，而有意义的响应生成概率往往比他们小。如下表所示： 　　 　　上面的表中是seq2seq对话系统产生的结果，分数最高的回复通常是最常见的句子，当然更有意义的回复也会出现在N-b...

问题：同样的问题，不同的表述，生成的回复就不一致。 解决方法：在seq2seq的的decoder 加入了用户向量，类似词向量，利用用户帐号信息，如性别，方言等训练而成。 实验数据是Twtter的数据，所以会有这些用户数据。 Speaker Model 选取LSTM为Seq2Seq模型的基本单元，LSTM主要的公式如下： 作者给增加了一个向量，可以看做是把变成了,如下所示： ...