《深度学习》第八章笔记+AdaBN

调参居士

于 2020-04-22 20:13:08 发布

阅读量3.9k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：深度学习笔记文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_43007306/article/details/105691514

本文记录了《深度学习》第八章的学习笔记，并探讨了AdaBN（Adaptive Batch Normalization）方法，该方法由北京大学的研究者提出，用于改善跨领域的迁移学习。AdaBN通过在目标领域上计算新的BN层均值和方差，提高模型在不同数据集上的表现。文章强调了AdaBN应在所有层应用，并且仅需少量目标领域数据即可完成计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写在前面

本文内容为两部分：1）我学习《深度学习》时所记笔记，对应内容为书上第八章 2）阅读有关AdaBN的一篇论文时所做的笔记
在这里插入图片描述在这里插入图片描述a

BN的拓展

由于BN的良好效果，这几年有不少基于BN的工作被报道。自己前几天也阅读了其中一篇，论文标题为REVISITING BATCH NORMALIZATION FOR PRACTICAL DOMAIN ADAPTATION，北京大学的Yanghao Li等人在该论文中提出了一种被称为AdaBN的方法，可以用于不许域之间的迁移学习。
所提出的方法流程如下：
在这里插入图片描述
针对AdaBN方法做以下说明：
1、根据论文中所述，该方法提出的motivation是作者在将不同数据集以mini-batch的方式作为带BN层的深度神经网络的输入时，发现BN层对应的均值和方差呈现簇状分布的特性。如下图
在这里插入图片描述
因此，作者认为BN层的均值和方差代表了不同域之间的特性。
2、对于提出的算法，实现流程相对简单，即先在训练集（source domain）上训练好一个DNN模型，然后用target domain上的部分数据计算新域上的BN层的mean and variance，即得到 $μj,δj\mu_j,\delta_j$