加入DAnet注意力机制

可以将 DAnet 注意力机制加入到 MyNet 的 forward 函数中，如下所示： ```python import torch import torch.nn as nn class DAnet(nn.Module): def __init__(self, in_channels, out_channels, reduction=16): super(DAnet, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.conv1 = nn.Conv2d(in_channels, in_channels // reduction, kernel_size=1, stride=1, padding=0) self.relu = nn.ReLU(inplace=True) self.conv2 = nn.Conv2d(in_channels // reduction, out_channels, kernel_size=1, stride=1, padding=0) self.sigmoid = nn.Sigmoid() def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x) y = self.conv1(y) y = self.relu(y) y = self.conv2(y) y = self.sigmoid(y) return x * y.expand_as(x) class MyNet(nn.Module): def __init__(self): super(MyNet, self).__init__() self.vgg16 = vgg16(pretrained=True) self.resnet18 = resnet18(pretrained=True) self.vgg16.classifier = nn.Identity() self.resnet18.fc = nn.Identity() self.danet1 = DAnet(512, 512) self.danet2 = DAnet(512, 512) self.fc = nn.Linear(25600, 2) def forward(self, x): x1 = self.vgg16.features(x) x1 = self.danet1(x1) x1 = self.vgg16.avgpool(x1) x1 = torch.flatten(x1, 1) x2 = self.resnet18.conv1(x) x2 = self.resnet18.bn1(x2) x2 = self.resnet18.relu(x2) x2 = self.resnet18.maxpool(x2) x2 = self.resnet18.layer1(x2) x2 = self.resnet18.layer2(x2) x2 = self.resnet18.layer3(x2) x2 = self.resnet18.layer4(x2) x2 = self.danet2(x2) x2 = self.resnet18.avgpool(x2) x2 = torch.flatten(x2, 1) x = torch.cat((x1, x2), dim=1) x = self.fc(x) return x ``` 在 forward 函数中，我们首先对 VGG16 和 ResNet18 的特征提取部分进行计算，然后将 VGG16 的特征图 x1 和 ResNet18 的特征图 x2 分别输入到两个 DAnet 注意力机制中进行加权，最后将加权后的两个特征图拼接在一起，并通过全连接层进行分类。

### DAnet注意力机制的改进方法与实现细节 #### 双重注意力机制的核心概念 双重注意力网络（DANet, Double Attention Network）通过引入两种不同的注意力模块——空间注意力（Spatial Attention Module, SAM）和通道注意力（Channel Attention Module, CAM），能够更高效地捕捉特征图中的全局依赖关系。这种设计使得模型可以专注于重要的区域或通道，从而提升分类、分割等任务的表现[^1]。 #### DANet的空间注意力模块(SAM) SAM的主要目标是从输入特征图中提取像素级的相关性信息。具体来说，它计算不同位置之间的响应权重，并利用这些权重重新分配激活值。其核心操作可以通过矩阵乘法完成： ```python import torch.nn as nn class SpatialAttentionModule(nn.Module): def __init__(self, in_dim): super(SpatialAttentionModule, self).__init__() self.query_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1) self.key_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1) self.value_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim, kernel_size=1) def forward(self, x): m_batchsize, C, height, width = x.size() proj_query = self.query_conv(x).view(m_batchsize, -1, width*height).permute(0, 2, 1) proj_key = self.key_conv(x).view(m_batchsize, -1, width*height) energy = torch.bmm(proj_query, proj_key) attention = nn.Softmax(dim=-1)(energy) proj_value = self.value_conv(x).view(m_batchsize, -1, width*height) out = torch.bmm(proj_value, attention.permute(0, 2, 1)) out = out.view(m_batchsize, C, height, width) return out + x ``` 此部分实现了基于自注意机制的空间上下文建模，其中`query`, `key`, 和 `value` 的定义允许模型学习到哪些位置更重要。 #### DANet的通道注意力模块(CAM) CAM则侧重于理解各个通道的重要性程度。相比传统卷积层仅考虑局部感受野的方式，CAM提供了跨整个图像范围内的通道间关联分析能力。其实现如下所示： ```python class ChannelAttentionModule(nn.Module): def __init__(self, in_dim): super(ChannelAttentionModule, self).__init__() self.chanel_in = in_dim def forward(self, x): m_batchsize, C, height, width = x.size() proj_query = x.view(m_batchsize, C, -1) proj_key = x.view(m_batchsize, C, -1).permute(0, 2, 1) energy = torch.bmm(proj_query, proj_key) energy_new = torch.max(energy, -1, keepdim=True)[0].expand_as(energy)-energy attention = nn.Softmax(dim=-1)(energy_new) proj_value = x.view(m_batchsize, C, -1) out = torch.bmm(attention, proj_value) out = out.view(m_batchsize, C, height, width) return out+x ``` 该模块通过对齐所有样本在同一维度上的统计特性来增强显著性的表达。 #### 改进方向的研究探讨 尽管原始版本已经取得了良好的效果，但在实际应用过程中仍存在一些潜在优化点： - **轻量化结构**：减少参数量的同时保持甚至超越原有精度水平； - **动态调整策略**：根据不同场景需求灵活改变注意力强度分布模式； - **融合其他技术**：比如结合NAS自动搜索最佳配置或者加入Transformer组件进一步挖掘长程依赖关系。 #### 论文中提到的关键实验设置 为了验证提出的双重视觉注意力的有效性和通用性，在多个公开数据集上进行了广泛的对比测试。例如Cityscapes语义分割任务表明，相较于baseline ResNet系列模型，采用DANet后平均交并比(IoU)有明显增长趋势。