tf.nn.embedding_lookup函数的工作原理

最新推荐文章于 2025-06-27 10:33:45 发布

原创最新推荐文章于 2025-06-27 10:33:45 发布 · 791 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #embedding

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文介绍了tf.nn.embedding_lookup函数的工作原理。该函数用于对张量列表进行并行查找，按顺序返回指定行。通过实例解释，展示其在one hot输入下类似查表操作。其是针对特殊全连接层的实现，Embedding矩阵会随网络参数训练，类似word2vec学习词向量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.nn.embedding_lookup函数的工作原理

函数定义：

tf.nn.embedding_lookup(
    params,
    ids,
    partition_strategy='mod',
    name=None,
    validate_indices=True,
    max_norm=None
)

官方解释：

This function is used to perform parallel lookups on the list of tensors in params，where params is interpreted as a partitioning of a large embedding tensor.

操作方式：

该函数按照ids顺序返回params中的第ids行。

实例解释：

在这里插入图片描述

如上例所示，输入数据为 $[0, 0, 0, 1, 0]$ ，对params执行乘法操作，由于输入是one hot 的原因， $x \cdot W$ 的矩阵乘法看起来就像是取了 $W$ 中对应的一行，看起来就像是在查表。这个实例中ids = 3，查表得到第四行数据 $[10, 12, 19]$ 。

实现过程：

针对输入是超高维向量，但是是one hot向量的一种特殊的全连接层的实现方法，其内部实际是包含一个网络结构的，如下图所示。

在这里插入图片描述

假设我们想要找到2的embedding值，这个值其实是输入层第二个神经元与embedding层连线的权重值。

使用该函数时，params给定的初始值是随机的，即全连接层的权值，但Embedding矩阵（params）会跟随网络中的其它参数一起训练，最终得到合适的Embedding向量，该过程可以类比word2vec学习词向量的过程，Embedding向量就是网络的副产品，即神经元与embedding层连线的权重值。