SeNet论文笔记

最新推荐文章于 2024-05-25 21:57:54 发布
最新推荐文章于 2024-05-25 21:57:54 发布
阅读量342 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l718531794/article/details/84574867
SEBlock是一种由Momenta团队提出的结构单元，旨在增强卷积神经网络（CNN）的特征提取能力，通过全局信息有选择地加强有意义的特征并压制无用特征。该结构在2017年的ImageNet竞赛中帮助团队夺得冠军，显著降低了top-5错误率。SEBlock的核心在于其Squeeze和Excitation机制，能够动态调整通道权重，提高网络对特征的分辨力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 大致背景及思路
    a. 由Momenta团队完成，2017年ImageNet大赛的冠军结构，top-5 error降到了只有2.25%，相比于2016年冠军，有接近25%的提高。
    b. 为了提高网络提取特征的能力，很多方法都致力于在空间上做出一些加强。而这篇文章，从通道之间的关系入手，提出了一个新的结构单元“SE Block”。

  2. 具体结构及思路
    a. 首先从CNN说起，CNN通过在局部感受野上，通过将空间上的信息和基于通道的信息融合，得到大量信息的结合。很多的工作都将关注点放在了空间上，所以自然的我们也可以从通道上进行考虑。
    b. 这个结构的核心在于它能通过使用全局的信息，有选择的加强有意义的特征，压制无用特征，使得网络重新适应特征。
    c. 结构如下图：
    在这里插入图片描述

    1.首先，输入X通过一个普通的卷积层，得到特征层U。
    2.将U通过全局池化，得到11c的Z，这一步被称作Squeeze。原本的每个卷积只是对应在自己的感受野 上，而无法利用区域外的上下文信息，在较低层时，这个问题显得更加明显。而这个转化，可以被看作时在各个通道上的全局信息的集合，也就是说具有了全局的感受野，那么在后续就可以利用全局信息了。
    3.然后将Z通过两个全连接层，和两激活函数，其中第一次时Relu，第二次为Sigmoid。这一步被称为 Excitation。这步使得通道的权重适应与输入的Z，也就是可以动态的去适应输入，提高对于特征的分辨力。
    4.然后就是将得到的各个通道的权重和原本的U结合，得到最终的输出。
    5.整个SE Block其实很像RNN中的门结构，Excitation决定了通过的特征的权重。

    d. 由于引入的结构中包含两个全连接层，使得整体的模型参数由一些增长，大约在百分之10左右。d. 由于引入的结构中包含两个全连接层，使得整体的模型参数由一些增长，大约在百分之10左右。

  3. 实验结果

    a. 可以看到，在加入了SE Block后，错误率相比原版本都有一定的下降。论文后续还比较了在多个数据集，包括检测任务的数据集上的效果，都得到了优于传统结构的结论。

SENet 论文
Dream_xd的博客
02-27 717
Squeeze-and-Excitation Networks 之前的研究工作的主要集中在获取空间信息上，这片论文的工作集中在通道之间的信息。作者提出了**Squeeze-andExcitation(SE)**模块，此模块可以附加在已有的网络上比如resnet等，额外计算量比较小，取得了很好的效果，取得了ImageNet2017分类任务的冠军。 SENet 网络结构 SE Block包含两个部分...
SEnet论文学习
qq_35153620的博客
05-12 440
SEnet是Momenta(一家国内专注于自动驾驶的公司)在ImageNet2017分类任务上夺冠的网络。ImageNet2017是最后一届ImageNet竞赛，SEnet有了很大的提高。 论文地址：https://arxiv.org/abs/1709.01507 github代码地址：https://github.com/hujie-frank/SENet 神经网络中的卷积...
SENet论文笔记
XL的博客
09-11 1604
《Squeeze-and-Excitation Networks》 该文章提出了一种新颖的网络结构，用于对每个通道的特征进行加权处理。在网络的训练过程中，会得到不同数量通道特征，在进行识别的过程中，每一个通道的特征的重要性都被视为是相同的来参与接下来的计算。SENet将不同特征通道的全局池化信息融合到了神经网络的训练过程中，从而能够利用网络的代价函数来对不同通道的权重进行训练。 网络结构： ...
SeNet论文详解
qq_38807688的博客
11-21 7963
原文地址： https://arxiv.org/pdf/1709.01507.pdf 背景： 最后一届ImageNet 2017竞赛 Image Classification任务的冠军.作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。 ...
SENet论文学习
qq_35456842的博客
04-08 238
本文转载至机器之心专栏，作者：胡杰，原文地址：http://www.sohu.com/a/161633191_465975 本届 CVPR 2017大会上出现了很多值得关注的精彩论文，国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏。除此之外，Momenta 还受邀在 CVPR 2017 的 ImageNet Workshop 中发表演讲，介绍 Mome...
论文笔记：主干网络——SENet
liuzeyao_Newton的博客
05-12 2041
Squeeze-and-Excitation Networks SENet
（SENet）Squeeze-and-Excitation Networks论文阅读笔记
weixin_43422466的博客
08-28 1145
文章目录（SENet）Squeeze-and-Excitation Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. Squeeze-and-Excitation Blocks3.1 Squeeze: Global Information Embedding3.2 Excitation: Adaptive Recalibration3.3 Instantiations4. Model and Computational Complexity
SENet（Squeeze-and-Excitation Networks）算法笔记
热门推荐
AI之路
09-16 8万+
论文：Squeeze-and-Excitation Networks 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch Sequeeze-and-Excitation(S
COD 论文笔记 A Simple yet Effective Network based on Vision Transformer for Camouflaged Object
985小菜鸡
05-25 1306
CAMO：包含1,000张训练图像和250张测试图像。CHAMELEON：包含76张测试图像，无训练图像。COD10K：包含3,040张训练图像和2,026张测试图像。NC4K：包含4,121张测试图像，无训练图像。Paradigm 1：整个网络共享同一个编码器和解码器，结构简单，但任务间可能互相干扰。Paradigm 2：共享编码器但使用独立的解码器，能够更好地处理任务间的干扰，提高单个任务的性能。
《深度学习：算法到实战》【第四周】MobileNet V1&V2&V3与ShuffleNet V1与SENet笔记
sunrise_129075的博客
02-08 1108
传统的CNN内存消耗大，运算量复杂，无法在各种移动端设备和嵌入式设备运行。MobileNet是为了移动端和嵌入式设备存在的轻量级CNN，与VGG相比它的准确率只下降了0.9%，参数却只有VGG的321​，它的网络结构如下。文中主要是通过Depthwise Convolution（）以及Pointwise Conv（）减少计算量，理论上说，普通卷积的计算量是DW+PW的9倍。DW卷积是在每个channel进行的，PW卷积可以看作使用1∗1的普通卷积将输出的特征图修改成你想要的channel。
SENet论文总结
ysl_ysl123的博客
08-18 508
SENet简介       \space\space\space\space\space\space      一般的卷积神经网络，卷积核会融合局部感受野中空间以及通道方向的信息来产生新特征。通过叠加一系列与非线性层和降采样层交织的卷积网络，CNN能够捕获具有全局感受野的层次模式...
论文阅读笔记：SENet: Squeeze-and-Excitation Networks
ProYH
05-26 1649
论文阅读笔记：SENet: Squeeze-and-Excitation Networks 本文主要包含如下内容：   论文地址   代码地址   参考博客 论文阅读笔记：SENet: Squeeze-and-Excitation Networks 主要思想 网络结构 实验结果 代码实现   本篇论文主要聚焦于通道维度，并提出一种新的结构单元——“Squeeze-an...
SEnet论文笔记
qq_30979017的博客
05-22 958
本文来源于：https://blog.csdn.net/wangkun1340378/article/details/79092001 先用一句话总结：SEnet是CVPR 2018年提出的通过建模输入特征的通道间关系，从而得到不同通道c的权重（对于C*H*W的特征，第Ci个维度的H*W空间维度都获得了相同的权重），乘到输入特征上，以获得特征重标定（更好的通道特征注意力的方法）。 已经有很多工...
九、SENet论文总结（完结）
weixin_40620310的博客
09-13 1650
九、SENet 论文导读 全称：Squeeze-and-Excition Networks 意义：较早将注意力机制引入卷积神经网络，并且该注意力机制是一种即插即用的模块，可嵌入任意主流的卷积神经网络中； 相关研究（STN）： STNet：空间变换网络，提出spatial transformer模块，用于增强CNN对图像的空间变换鲁棒性； STNet在文本矫正任务中也可以使用，并且有不错的效果； 主要有三个模块：Localisation net（特征定位）、Grid generator（网格生成）、Sampl
SENet来源论文《Squeeze-and-Excitation Networks》读后总结
yzqlyzql的博客
06-26 1157
SENet来源论文《Squeeze-and-Excitation Networks》读后总结前言文章主要内容与贡献设计了SE(Squeeze-and-Excitation)模块研究了SE模块与其它网络的可结合性 前言 这是一些对于论文《Squeeze-and-Excitation Networks》的简单的读后总结，首先先奉上该文章的下载超链接：SENet 这篇文章是由中国科学院软件研究所计算机科...
论文阅读 | Squeeze-and-Excitation Networks （SENet）
bettii的博客
03-23 385
SENet
SENet论文记录
XiaoTaiYang6的博客
10-24 499
概述 CNN的核心构件是卷积算子，它使用网络在每一层的局部感受野内融合空间和信道信息来构建信息特征，研究试图通过提高空间编码的质量来增强CNN的代表性。卷积神经网络由一系列的卷积层，非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像特征来进行图像描述。SE模块通过明确地建模通道之间的依赖关系，自适应地重新校准通道方向的特征响应。在网络的每个卷积上，一组滤波器沿着输入信道表达邻近空间连接模...
SENet论文理解
ruoruojiaojiao的博客
04-06 1531
参考博客：https://blog.csdn.net/wfei101/article/details/79672944 https://blog.csdn.net/u014380165/article/details/78006626 pytorch代码：https://github.com/miraclewkf/SENet-PyTorch 1. 为什么提出该网络？ 普通的卷积网络通常是在...
经典论文-SeNet论文及实践
uncle_ll的博客
09-16 5612
卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为**“Squeeze-and-Excitation”（SE）模块**，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，证明了可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，发现SE块以微小的计算成本为现有的
senet论文
最新发布
03-29
SENet（Squeeze-and-Excitation Networks）的概念首次被提出是在2017年的论文《Squeeze-and-Excitation Networks》中，这篇论文由Jie Hu等人撰写，并在CVPR 2018上发表[^1]。该论文详细介绍了如何通过引入通道注意力机制来改进卷积神经网络的表现。 以下是获取SENet相关论文的一些方法： ### 方法一：访问官方出版平台 论文最初发布于IEEE Xplore Digital Library以及arXiv预印本服务器。可以通过以下链接下载： - IEEE Xplore: [https://ieeexplore.ieee.org/document/8578913](https://ieeexplore.ieee.org/document/8578913) - arXiv: [https://arxiv.org/abs/1709.01507](https://arxiv.org/abs/1709.01507)[^2] ### 方法二：学术搜索引擎 除了直接从上述网站下载外，还可以利用Google Scholar等学术搜索引擎输入关键词"Squeeze-and-Excitation Networks Jie Hu"进行检索。这通常会提供多种免费或付费的下载选项[^3]。 ### PyTorch 实现示例 对于希望快速验证SENet效果的研究者来说，下面是一个简单的SE Block实现代码片段供参考： ```python import torch.nn as nn class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值