【深度学习|特征增强融合模块】MAF (Multi-scale Attention Fusion)一种多尺度的注意力融合模块

已于 2025-05-05 21:00:00 修改
阅读量3.1k 收藏 49
点赞数 48
CC 4.0 BY-SA版权
分类专栏： 机器学习-深度学习-大模型笔记实录 深度学习中的特征注意与提取与融合 文章标签： 深度学习 人工智能 机器学习 计算机视觉 地球科学
于 2024-11-29 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaoxiaoxiao1209/article/details/144066332

【深度学习|特征增强融合模块】MAF (Multi-scale Attention Fusion)一种多尺度的注意力融合模块

【深度学习|特征增强融合模块】MAF (Multi-scale Attention Fusion)一种多尺度的注意力融合模块

文章目录

在这里插入图片描述

MAF (Multi-scale Attention Fusion)

MAF 是一种多尺度的注意力融合模块，旨在利用多种尺度的信息来增强特征表示。具体地，它结合了多种卷积层和注意力机制，用于捕捉图像中不同尺度的信息，并融合这些信息来生成更加丰富的特征表示。

  • MAF 使用了不同的卷积核大小（通过 dilation 参数控制），以及多种类型的注意力机制（包括通道注意力和空间注意力）。

MAF的主要特征：

  • 多尺度卷积： 通过使用多个不同膨胀（dilation）率的卷积核（conv1_1, conv2_1, conv3_1）来提取不同尺度的特征。<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOV8涨点之多尺度注意力融合(MAF)模块
hasakie的博客
01-06 1223
YOLOv8延续了YOLO系列的设计理念，其基本架构主要包括：基于CSP(紧凑和分离)思想构建，使用C2f模块替代了YOLOv5中的C3模块，实现了进一步的轻量化。：采用PA-FPN(路径聚合网络-特征金字塔网络)思想，通过去除上采样阶段的卷积操作并用C2f模块替换原有的C3模块，优化了特征融合过程。：引入Decoupled-Head设计，将分类和检测头分离，提高了网络的训练和推理效率。这种结构设计使YOLOv8在保持轻量化的同时，能够有效提取多层次特征并进行高效的目标检测。
多尺度特征融合
whaosoft143ai的博客
10-12 1万+
最后，使用研究者提出的多尺度特征融合模块融合相邻层中的特征图，这进一步减少了不同特征通道层之间的语义差距。然而，由于不同尺度的特征图之间的语义差距，他们取得的改进非常有限。首先，采用预训练的dilated ResNet-101作为主干来提取视觉特征，还在最后两个ResNet-101块中用空洞卷积替换下采样操作，因此最终特征图的大小是输入图像的1/8。总之，研究者利用矩阵乘法来测量来自不同层的特征图中像素的相关性，将来自较低特征图的详细信息整合到最终输出中，从而提高了坑洞边界的语义分割性能。
Nature收割机！多尺度特征融合简直“杀”疯了
2401_88556812的博客
11-27 2555
例如，一种网络通过多尺度的注意力特征融合来处理复杂的任务。通过使用预训练的血管掩码作为先验知识，利用病变和血管之间的相关性，减少了复杂眼底结构引起的病变检测模糊性，提升了模型的准确性，实验结果在DDR和IDRiD数据集上表现出优于其他先进模型的性能。利用全局信息获取外观和运动特征的重要性权重，通过为更重要的模态特征分配更高权重，为较不重要的模态特征分配更低权重，自适应地融合不同模态的特征。通过动态选择不同尺度的特征进行融合，提高了多尺度特征融合的灵活性和融合特征的一致性，解决了不同尺度特征之间的冲突问题。
【TGRS 2025】MSC 模块上线，多尺度稀疏融合让模型表现一飞冲天！
最新发布
weixin_43009052的博客
06-28 1196
📌 Multiscale Sparse Cross-Attention 聚焦于“多尺度融合”与“冗余抑制”的联合设计，其核心由以下三个关键特点构成： ① 多尺度池化提取丰富上下文信息：通过在低层特征上使用不同大小的平均池化窗口，获取多尺度结构信息，从细节到整体均有覆盖，为后续注意力计算提供多层次特征输入。 ② TopK 稀疏交叉注意力降低干扰，突出关键信息：将高层特征作为 Query，低层多尺度特征作为 Key/Value，通过 TopK 筛选仅保留与 Query 高度相关的部分，去除大量无关干扰信息
多尺度特征融合模块TIF，涨点涨爆了！
m0_59163425的博客
12-11 3547
题目：DS-TransUNet: Dual Swin Transformer U-Net for Medical Image Segmentation论文地址：https://arxiv.org/abs/2106.06716。
涨点&发论文神器：即插即用多尺度融合模块！
学姐带你玩AI的博客
07-30 3464
在CV任务中，图像中的目标往往以不同的尺寸和形态出现，传统的单尺度处理方法难以同时捕捉这些目标的细节信息。为解决这个问题，研究者们提出了：通过提取并融合不同尺度的特征，在保持高性能的同时，加强了模型对复杂场景的理解和处理能力。另外，这种模块因为内部的优化设计，能无缝集成到现有深度学习模型中，无需修改原始模型，非常适合我们。为方便各位理解和使用，加速论文进度，我这次挑选了，基本都是最新的，已经开源的代码也附上了。论文原文+开源代码需要的同学看文末。
YOLO改进：一种级联与并联结合的多尺度特征融合模块RFEM
qq_36070656的博客
10-10 3945
该模块是由中提出。具体来说，输入特征图将经过三个不同空洞率（2，4，8）的空洞卷积，并依次进行通道拼接。该模块的优势在于，能够有效地捕获平衡的非局部上下文特征和局部目标特征，解决小目标局部语义缺失。如果F的分辨率是62*62，且感受野为1，那么R1、R2、R3、P的感受野分别是5、13、29、29。P的感受野达到F的一半大小，这将使得输出特征图包含足够的非局部背景信息。中的RFEM，其使用三个并联的空洞卷积融合不同尺度的特征信息。
Attentional Feature Fusion 注意力特征融合
执笔画红颜丶的博客
08-25 2万+
看到一篇比较不错的特征融合方法，基于注意力机制的 AAF ，与此前的 SENet、SKNet 等很相似，但 AFF性能优于它们，并且适用于更广泛的场景，包括短和长跳连接以及在 Inception层内引起的特征融合。AFF是由南航提出的注意力特征融合，即插即用！
多尺度特征融合总结（金字塔结构）
热门推荐
m0_53955985的博客
06-05 6万+
列举了一些经典的模型来帮助快速了解什么是特征金字塔，以及对于多尺度图像的处理方式，
Attentional Feature Fusion 注意力整合模块
weixin_46078886的博客
06-22 963
第一个分支是全局分支进行通道维度交互，第二个是通道局部维度交互，第一个分支得到的维度是B*C*1*1,第二个分支得到的是和输入一样的形状B*C*H*W。X和Y是不同的特征（例如X是3*3卷积得到的特征，Y是7*7卷积得到的特征，X和Y是并行分支），把X和Y相加传入到MS-CAM注意力模块中，输出为一个张量M为B*C*H*W，则X与M逐点相乘，Y与（1-M）逐点相乘，最后相加。先将X和Y经过一次上述的AFF操作，得到的初始整合特征，再将整合后的特征再次输入到AFF中。表示如何整合X和Y，通常是直接相加。
用于单图像超分辨率的压缩多尺度特征融合网络
03-08
最近，深度神经网络在图像超分辨率（SR）领域取得了重大突破。 大多数基于深度学习的图像SR方法学习端到端网络，以发现低分辨率（LR）图像和高分辨率（HR）图像之间的映射关系，以便生成视觉上令人满意的图像。 但是，这些方法仅提取单个比例尺特征来学习映射关系，这将丢失一些重建所需的关键信息。 在本文中，我们提出了一种用于单图像SR的压缩多尺度特征融合（MSFF）网络。 网络中使用了多个MSFF模块来提取不同比例的图像特征，这使我们能够捕获图像的更完整的结构和上下文信息，从而获得更好的SR质量。 此外，为了解决由于使用多尺度结构而导致的训练难度和计算费用消耗的问题，设计了结构稀疏正则化算法来学习具有稀疏结构的MSFF网络并获得压缩网络，从而大大降低了网络参数。并在保持重建质量的同时加快了速度。 在各种图像上的大量实验表明，与几种最新方法相比，该方法在视觉质量方面可以实现更理想的性能。
MAF (Multi-scale Attention Fusion)
12-28
多尺度注意力融合(Multi-Scale Attention Fusion, MAF)是一种用于红外与可见光图像融合的技术，在计算机视觉领域有广泛应用。该技术通过构建一个多尺度注意网络来实现更有效的特征提取和信息聚合[^2]。 #### 特征...
MAF-YOLO: Multi-modal attention fusion based YOLO forpedestrian detection
yBooooo的博客
02-28 3962
MAF-YOLO:基于多模态注意力融合的行人检测YOLO ABSTRACT 实现自然环境中行人的快速准确检测是人工智能系统的重要应用。然而，由于红外图像的低光密度和低分辨率，夜间行人的准确检测具有一定的挑战性，且对检测速度要求较高。提出一种基于多模态注意力融合YOLO (mafo -YOLO)的实时行人检测方法。首先，基于压缩的Darknet53框架构建多模态特征提取模块，以适应夜间行人检测，保证检测效率;从两种模式中提取特征，然后通过模态加权融合模块进行融合。其次，我们定义一个损失函数，并基于K-..
YOLO有多好发文？搭载多尺度特征融合，顶级一区“嘎嘎乱杀”，思路速学！
学姐带你玩AI的博客
12-09 2009
网上冲浪的时候看见有同学靠改YOLOv8发了俩ccf-c...突然心动...不过大家懂的都懂，现在对的传统研究已经是卷生卷死，如果还想要做创新，或许可以考虑围绕模型改进这方面，尤其是使用。这是因为，YOLO系列算法普遍存在多尺度目标处理能力不足的问题，通过使用多尺度特征融合，整合不同空间尺度的特征信息，就能让算法更好地适应不同尺度的目标，这样无论大小都能实现精准检测，问题自然就迎刃而解。更牛的是，为了方便有论文需求的同学，我这次整理了，开源代码已附，大家需要参考的可以直接拿来看~
多尺度变形注意力模块和多级特征聚合模块
小嘤熊的博客
11-08 1552
3️⃣C15 -C25 沿通道轴连接以获得具有多尺度变形感受野的新特征图，注意力图 A 是通过在这个新连接的特征图上应用 3 × 3 卷积层和 sigmoid 激活函数生成的。通过这种方式，MSDAM从具有大的多尺度可变形感受野的特征图中生成注意力图，从而可以更好地拟合各种形状和大小的遥感对象，并为遥感图像生成更精确的注意力图。（2）遥感图像中的物体实例具有变形和大尺度变化的特征，而具有固定形状和单尺度感受野的特征图C5很难很好地拟合这些物体并预测出精确的遥感图像注意力图。相应生成的特征图表示为于C05。
在 ResNet 中实现多尺度的特征融合（内含代码，用于图像分类）
weixin_57111012的博客
12-05 6758
这个代码示例中，我添加了额外的卷积层和三个特征金字塔层，以便从不同的卷积层获得特征并进行融合。大家可以根据任务需求进行更改和优化。特征金字塔的思想能够提供更好的多尺度信息，有助于提高模型对不同目标大小的适应性。在 ResNet 中实现多尺度的特征融合，类似于特征金字塔网络（Feature Pyramid Network，FPN）的思想。
AFF-注意力特征融合 | Attentional Feature Fusion
weixin_42096202的博客
10-08 5万+
感觉实验做的也太少了…很水 https://arxiv.org/pdf/2009.14082.pdf https://github.com/YimianDai/open-aff Abstract: 特征融合是来自不同层或分支的特征的组合，是现代网络体系结构中无所不在的一部分。它通常通过简单的操作（例如求和或拼接）来实现，但这可能不是最佳选择。在这项工作中，我们提出了一个统一的通用方案，即注意力特征融合，该方案适用于大多数常见场景，包括短跳跃和长跳跃连接以及在Inception层中引起的特征融合。为了更.
结合创新！即插即用的多尺度特征融合模块，助力检测分割等暴力涨点！
06-24 3275
最后，作者在不同的密集预测任务、多种框架和多个高级预训练中评估了ViT-CoMer的性能，特别是ViT-CoMer-L在没有额外训练数据的情况下，在COCO val2017上达到了64.3%的平均精度（AP），在ADE20K val上达到了62.1%的平均交并比（mIoU），这些结果与最先进方法相当。-总体而言，这篇文章提出的ViT-CoMer为密集预测任务提供了一种新的骨干网络选择，它通过有效地结合CNN和Transformer的特点，提高了模型的表达能力和泛化能力，为未来的研究提供了新的方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

985小水博一枚呀

祝各位老板前程似锦！财源滚滚！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值