论文学习1：SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation

zl29

已于 2024-11-28 18:02:15 修改

阅读量2.2k

点赞数 49

CC 4.0 BY-SA版权

文章标签：计算机视觉

于 2024-11-28 17:34:15 首次发布

本文链接：https://blog.csdn.net/qq_63318216/article/details/144085262

Abstract

图像分割在视觉理解中起着重要作用。近年来，新兴的视觉基础模型在各种任务中持续取得了优异的表现。基于这一成功的经验，在本文，我们可以证明Segment Anything Model 2（SAM2）可以成为应用于U形分割模型的一个功能强大的编码器。我们提出了一个简单但有效的框架，称其为SAM2-UNet，用于实现多功能图像分割。具体来说，此框架采用基于SAM2预训练的Hiera骨干网络作为编码器，而解码器则使用经典的U形设计。此外，我们在编码器中插入适配器，以实现高效的参数微调。通过在各种任务上的初步实验，如伪装目标检测、显著目标检测、海洋动物分割、镜像检测和息肉分割，证明我们提出的SAM2-UNet能够轻松超越现有的专门化最先进方法，而无需复杂的改进。项目详细请见：https://github.com/WZH0120/SAM2-UNet。

Introduction

图片地址：https://github.com/WZH0120/SAM2-UNet/blob/main/sam2unet.jpg
Hiera 可能会有多种变体，为了简化流程，展示了最简单的版本。

Explanation

Encoder：SAM2-UNet 采用了由 SAM2 预训练的 Hiera [38] 骨干网络。与 SAM1 [18] 中使用的普通 ViT [5] 编码器相比，Hiera 使用了一个分层结构，能够捕捉多尺度特征，这使得它更适合用于设计 U 形网络。
RFBs：模拟人类视觉的感受野从而加强网络的特征提取能力，在Inception的基础上加入了空洞卷积，从而有效增大了感受野。图中，可见利用4个RFBs，通道数减少至64，增强了轻量特征。
Adapters：为了在有限内存设备上进行训练，采用了适配器的设计，通过插入适配器模块进行参数高效的微调。每个适配器由一个用于下采样的线性层、一个GeLU激活函数、另一个用于上采样的线性层以及最终的GeLU激活函数组成。
Decoder：与 SAM2 使用的双向 Transformer 解码器不同，解码器遵循经典的 U-Net 设计，由三个解码器块组成。每个解码器块包含两个“Conv-BN-ReLU”组合，其中“Conv”表示 3×3 卷积层，“BN”表示批量归一化（Batch Normalization）。
Loss Function：每个分割输出会与真实分割掩码进行对比，计算损失（如IoU损失和BCE损失），并进行深度监督。

Datasets

1.COD

目标是检测环境中隐藏良好的物体。参考的论文中提出了用于伪装物体检测（COD）的特征分解与边缘重建（FEDER）模型。FEDER 模型通过使用可学习的小波将特征分解为不同的频率带，从而解决了前景和背景之间的内在相似性问题。

2.SALOD

模仿人类认知机制来识别显著物体，用五个数据集进行测试。

3.MAS

采用两个数据集进行基准测试，包括MAS3K [21]和RMAS [10]

4.MD

为了实现准确且高效的镜像检测，HetNet 采用了一种有效的架构，通过不同阶段获取特定的信息来检测镜像，还进一步提出了一个基于多方向强度对比的模块（MIC）和一个反射语义逻辑模块（RSL），在MAE、IoU 和 F-measure等指标上性能有明显提升。

5.PS

息肉分割保证准确性具有一定的难度，究其原因在于相同的息肉在纹理、大小和形态上存在多样性，以及息肉和周围粘膜界限不明显。基于此，论文提出了并行反向注意力网络（PraNet），极为有效的提高了分割精度，在泛化能力和实时分割效率方面有较为明显的优势。

Results

1.COD

在这里插入图片描述
其中 COD10K 和 NC4K 数据集比 CHAMELEON 和 CAMO 更具挑战性，它们包含了更多的图像，分割任务更为复杂。通过比对S-measure 的结果，发现SAM2-UNet效果更优。

2.SALOD

在这里插入图片描述
SAM2-UNet 在 DUTS-TE、DUT-OMRON、HKU-IS、PASCAL-S 和 ECSSD 数据集上均展现了更好的性能。

3.MAS

在这里插入图片描述
SAM2-UNet 在所有指标上都超越了其他所有比较方法。

4.MD

在这里插入图片描述
SAM2-UNet 在所有指标上都超越了其他所有比较方法。

5.PS

在这里插入图片描述
在 ClinicDB 和 CVC-300 数据集上的表现相对较弱，但整体平均表现仍然优于 CFA-Net。

Ablation Study

在这里插入图片描述
通常情况下，较大的骨干网络通常能带来更好的性能。即使使用较小的 Hiera-Base+ 骨干网络，SAM2-UNet 的性能仍然优于 FEDER 。

Conclusion

本文提出了 SAM2-UNet，一种简单且有效的 U 形框架，实现自然和医学领域的多功能分割。