YOLOv10改进策略【卷积层】| SAConv 可切换的空洞卷积 二次创新C2fCIB

YOLO11 是Ultralytics YOLO 系列实时物体检测器的最新版本，以尖端的精度、速度和效率重新定义了可能性。基于先前 YOLO 版本的令人印象深刻的进步，YOLO11 在架构和训练方法方面引入了重大改进，使其成为各种计算机视觉任务的多功能选择。

yolov8，yolov8改进，SAConv

DetectoRS：用递归特征金字塔和可切换的空洞卷积检测物体。

在传统的卷积操作中，卷积核在图像上滑动并执行卷积操作，但是它们对于图像中的位置信息是不敏感的。CoordConv 的目标是使卷积操作变得位置敏感，它在输入特征图中加入了位置信息作为额外的通道。CoordConv 引入了位置信息通道，使得网络对位置信息更敏感，而 SAConv 引入了空间注意力机制，使得网络能够动态地调整卷积核的权重，提高了对不同位置信息的关注度。传统的卷积操作在所有位置都应用相同的卷积核，而SAConv 具有可学习的空间注意力权重，这意味着它能够动态地调整不同位置的卷积核权重。

本文给大家带来的改进机制是可切换的空洞卷积SAC）是一种创新的卷积网络机制，专为增强物体检测和分割任务中的特征提取而设计。SAC的核心思想是在相同的输入特征上应用不同的空洞率进行卷积，并通过特别设计的开关函数来融合这些不同卷积的结果。这种方法使得网络能够更灵活地适应不同尺度的特征，从而更准确地识别和分割图像中的物体。可切换的空洞卷积的基本原理和框架，能够在你自己的网络结构中进行添加(值得一提的是一个SAConv大概可以降低0.3GFLOPs。

在大规模视觉预训练中，通常模型的性能受到数据、参数和FLOP三个关键因素的影响。一般来说，模型的参数数量越多，FLOP也越高，但在移动设备等对计算资源有限制的场景下，需要低FLOP的模型同时又希望模型能从大规模预训练中受益。传统的方法很难在增加参数的同时保持低FLOP，因此需要一种新的设计来解决这个问题，模块应运而生。

许多现代目标检测器通过采用二次观察和思考机制展示了卓越的性能。在本文中，我们在目标检测的主干设计中探索了这一机制。在宏观层面上，我们提出了递归特征金字塔（Recursive Feature Pyramid），该金字塔将特征金字塔网络（Feature Pyramid Networks）的额外反馈连接融入到底层的自下而上主干层中。在微观层面上，我们提出了可切换空洞卷积（Switchable Atrous Convolution），该卷积通过不同的空洞率卷积特征，并使用切换函数汇集结果。

基于卷积运算的神经网络在深度学习领域取得了显著的成果，但标准卷积运算存在两个固有缺陷。一方面，卷积操作局限于本地窗口，无法从其他位置捕获信息，其采样形状是固定的。另一方面，卷积核的大小固定为 k × k，这是一个固定的方形，参数的数量往往随着大小而呈方形增长。很明显，目标的形状和大小在不同的数据集和不同的位置是不同的。具有固定样本形状和正方形的卷积核不能很好地适应不断变化的目标。

0.空洞卷积是什么？HDC又是啥？ 空洞卷积，说白了就是把kernel变成筛状。 两张图看明白。图源： https://www.jianshu.com/p/f743bd9041b3 传统卷积核： 空洞卷积核： 而HDC又是对空洞卷积的一种改进，可以说他是空洞卷积的一种特殊结构 1.为何采用空洞卷积？ 一句话：为了增大感受野，从而抵消一部分池化层造成的信息丢失 由此引出两个问题： （1）什么...

文章目录摘要1. 引言2. 模型描述2.1 混合编码器2.2 位置编码器2.3 SA-Conv-CTC/Attention架构2.4 带有SA-LM的混合解码器3. 实验3.1 数据集介绍3.2 实验细节3.3 评价准则3.4 实验结果4. 结论 摘要 我们知道，传统的语音识别系统分为三大组件，分别是词汇字典、声学模型和语言模型，这使得我们不得不单独训练声学和语音模型[1]。近年来，端到端（E2E）语音识别系统越来越受欢迎，与传统的语音识别系统不同，E2E语音识别系统直接将输入的语音转换成字符或单词，只基于

许多现代目标检测器通过采用二次观察和思考机制展示了卓越的性能。在本文中，我们在目标检测的主干设计中探索了这一机制。在宏观层面上，我们提出了递归特征金字塔（Recursive Feature Pyramid），该金字塔将特征金字塔网络（Feature Pyramid Networks）的额外反馈连接融入到底层的自下而上主干层中。在微观层面上，我们提出了可切换空洞卷积（Switchable Atrous Convolution），该卷积通过不同的空洞率卷积特征，并使用切换函数汇集结果。

3.在models/yolo.py的parse_model中添加C3_SAC。（2）更换yaml配置文件（也可以建一个新的配置文件）（1）将代码添加到models/commen.py中。

入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、感受野（知道的可以直接跳） 感受野指：卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小，即FC层每个输出节点的值都依赖FC层所有输入，而CONV层每个输出节点的值仅依赖CONV层输入的一个区域，这个区域之外的其他输入值都不会影响输出值，该区域就是感受野。简单来说就是特征图上的一个点对应输入图上的区域。 举个栗子：一个5*5的特征图经过2个3*3卷积核后（步长为1，padd

YOLO11中添加可切换空洞卷积SAConv

在微观层面，我们提出了可切换空洞卷积，它将具有不同空洞率的特征进行卷积，并使用开关函数收集结果。在 COCO test-dev 上，DetectoRS 在目标检测方面实现了最先进的 55.7% 框 AP，在实例分割方面实现了 48.5% 的掩模 AP，在全景分割方面实现了 50.0% PQ。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

本文给大家带来的改进机制是可切换的空洞卷积SAC）是一种创新的卷积网络机制，专为增强物体检测和分割任务中的特征提取而设计。SAC的核心思想是在相同的输入特征上应用不同的空洞率进行卷积，并通过特别设计的开关函数来融合这些不同卷积的结果。这种方法使得网络能够更灵活地适应不同尺度的特征，从而更准确地识别和分割图像中的物体。可切换的空洞卷积的基本原理和框架，能够在你自己的网络结构中进行添加(值得一提的是一个SAConv大概可以降低0.3GFLOPs)。

基于融合SAConv的改进YOLOv5的街景实例分割全景分割系统