关于DANet注意力机制

所谓注意力，是把关注点放在值得特征图上值得关注的一些地方。那么为我们怎么知道哪些点值得关注哪些点不值得关注呢？这个也是需要构建网络来学习的。DANet又叫做Dual attention Net。顾名思义他会从两个角度来形成注意力（当然也有其他注意力机制，以后在研究）。空间注意力和通道注意力。

1. 空间注意力。我们假定有一个featuremap，但是featuremap上的各个特征点的重要程度是不一样的。我们假如要提取一个特征，我们假定有一个和featuremap同样大小的mask，mask上对应位置的值就是原特征图上的值的权重，所以mask上的值加起来的和是为1的。这个我们可以用softmax来实现。将原特征图c*h*w，给reshape成c*（h*w）。我们要学习1个（h*w）长度的特征向量利用softmax转化为权重值。我们如果要保证原来尺度不变，那么我们就要学习h*w个（h*w）的权重值。也就是说转化后的特征图上每个特征点都是由原来特征图上每个特征点进行加权获得的。最后在reshape成原图大小。（注意这里mask的数量和原特征图的channel是无关的，也就是我们学到的mask加权权重是同等应用在不同channel上的）
2. 通道注意力机制。通道注意力机制主要关注通道维度上的加权关系。个人感觉这个通道注意力机制貌似和普通的1*1大小卷积核貌似没啥太大区别。（期间也请教了老师，老师说了这里的确功能上差不多。但是注意力机制更加自相关）

参考网址https://zhuanlan.zhihu.com/p/262907318