论文学习13:MSDUNet:A Model based on Feature Multi-Scale and Dual-input Dynamic Enhancement for Skin Le-CSDN博客

本文链接：https://blog.csdn.net/qq_63318216/article/details/146375262

代码来源

https://github.com/XSforAI/MSDUNet

模块作用

通过多尺度特征提取和动态增强机制提升皮肤病变分割的精度和鲁棒性。该模型集成了多尺度可变形块（MSD Block）和双输入动态增强模块（D2M）。MSD Block通过通道分割和具有不同感受野的可变形卷积，更好地提取和整合多尺度信息，同时控制模型规模，使解码器更专注于与任务相关的区域和边缘细节。D2M利用大核扩张卷积在解码器特征上提取注意力偏置矩阵，补充和增强通过跳跃连接特征传递的解码器低层语义特征，从而弥补语义差距。

模块结构

MSD Block位于解码器中，旨在提取和整合多尺度特征。其结构如下：

输入：接收来自D2M的增强特征和较低层解码器特征，沿通道维度拼接为：。
特征分割：将$X$沿通道维度均匀分为4个子特征x1,x2,x3,x4，每个子特征的通道数为输入通道数的1/4。
多尺度特征提取：
- 分支1：通过1×1深度卷积DWConv1×1处理x1，提取局部特征。
- 分支2-4：分别通过3×3可变形卷积DWConv3×3，使用不同的扩张率（dilation rate分别为1、2、3），捕获不同尺度的上下文信息。
特征融合：将四个分支的输出x1',x2,'x3',x4'沿通道维度拼接，并通过残差连接与输入X相加，得到多尺度特征:
后续处理：通过1×1卷积调整通道数，应用上采样（UPConv）和LayerScale模块，输出到上一层解码器或分割头。

D2M位于跳跃连接处，接收来自编码器的特征 $X_{\text{Skip}}$ 和较低层解码器的特征 $X_{\text{Decoder}}$ 。其结构分为两部分：

D2C（Dynamic Deformable Convolution）：
- 使用大核扩张卷积（ $DilatedConv_{k\times k}^2$ ，扩张率2）从 $X_{\text{Decoder}}$ 中提取偏移矩阵（Offsets）。
- 将Offsets应用于 $X_{\text{Skip}}$ ，通过可变形卷积 $DeformableConv2d$ 生成增强特征 $X$ 。
SharedSA（Shared Spatial Attention）：
- 对$X$应用跨阶段共享的空间注意力机制，进一步聚焦任务相关区域，输出最终增强特征 $X_{D2M}$ 。

总结

本文介绍了一种名为MSDUNet的医学图像分割模型，该模型采用混合架构，集成了MSD Block和D2M模块。该模型利用深度学习算法从医学图像中学习和提取复杂特征，为医生提供更全面、更准确的信息。具体而言，所提出的MSD Block和D2M模块显著提升了皮肤癌分割任务的性能。在公开数据集上进行的实验表明，该模型取得了具有竞争力的结果，有力地支持了皮肤癌医学图像分割的进步。这些创新方法对提高诊断准确性、指导治疗决策以及推动该领域进一步研究产生了积极影响。

尽管如此，本研究仍存在一些问题。虽然MSDUNet的参数数量相对较少，但其计算复杂度与某些方法相比更高。这主要是因为MSD Block将特征分为四个多尺度分支进行提取，不同感受野的贡献可能有所不同。一种潜在的解决方案可能是以类似于自选择路由的方式分配特征。此外，可变形卷积的应用可能会加剧这一问题，因此在未来的研究中探索简化可变形操作是值得考虑的。