tensorflow中的KLDivergence的使用示例

最新推荐文章于 2025-04-25 01:23:43 发布

原创最新推荐文章于 2025-04-25 01:23:43 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #深度学习 #python #经验分享 #其他

纯记录专栏收录该内容

8 篇文章

订阅专栏

这篇博客详细介绍了如何在TensorFlow中计算Kullback-Leibler(KL)散度，包括在一维数组和批量数据上的实现。KL散度是一种衡量两个概率分布差异的方法，在损失函数中常被用到。示例展示了如何使用`tf.keras.losses.KLDivergence`计算两个分布的KL散度，并给出了具体的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

loss = y_true * log(y_true / y_pred)

情况一：算两个一维数组

参考：tf.keras.losses.KLDivergence

k = tf.keras.losses.KLDivergence()
loss = k([.4, .9, .2], [.5, .8, .12])
print('Loss: ', loss.numpy())  # Loss: 0.11891246

在这里插入图片描述

情况二：按batch来算

参考：TensorFlow->API->TensorFlow Core v2.2.0->Python

import tensorflow as tf
y_true = [[0.3, 0.7], [0.2, 0.8]]
y_pred = [[0.4, 0.6], [0.1, 0.9]]
kl = tf.keras.losses.KLDivergence()
kl(y_true, y_pred).numpy()