ssjdoudou的博客

Time series on Transformer Transformer Input Transformer输入是一个序列数据，以"Tom chase Jerry" 翻译成中文"汤姆追逐杰瑞"为例： Encoder 的 inputs就是"Tom chase Jerry" 分词后的词向量。可以是任意形式的词向量，如word2vec，GloVe，one-hot编码。 假设上图中每一个词向量都是一个512维的词向量。 Postions Encoding(PE) transformer模型的attention

Gibbs Sampling 假设二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景 平行于y轴转移，如上图中从状态A转移到状态B 平行于x轴转移，如上图中从状态A转移到状态C 其他情况转移，如上图从状态A转移到状态D A->B: p(x1,y1)p(y2∣x1)=p(x1)p(y1∣x1)p(y2∣x1) p(x_{1},y_{1})p(y_{2}|x_{1}) = p(x_{1})p(y_{1}|x_{1})p(y_{2}|x_{1}) p(x1​,y1​)p(y2​∣x