论文阅读 | Ghostnet网络

简介

• paper: https://arxiv.org/abs/1911.11907
• github：https://github.com/huawei-noah/ghostnet
• Ghostnet（CVPR2020）是华为提出的一种轻量级网络，结构类似mobilenetV3,具有速度快、精度较高特点。论文中主要贡献是：提出Ghost Module。
  

Ghost Module

• 如图二所示， Ghost module 结构很简洁。(a)是普通卷积，(b)是ghost module.
• 假设$input$大小为：$i{n}_c\times i{n}_h\times i{n}_w$, $output$大小为：$ou{t}_c\times ou{t}_h\times ou{t}_w$,
• Ghost module将普通卷积拆解为三步执行,第一步先用$k\times k$卷积核输出通道数为$init\_channels$的feature maps, （$init\_channels=ceil(\frac{out\_channels}{s})$）， s代表将$out\_channels$分为s组。第二，在第一步的feature_maps上进行depthwise convolution(线性变换)输出$(s-1)\times init\_channels$通道的feature maps, 最后，将 $init\_channels$的feature maps和第二步输出的前$(out\_channels-init\_cahnnels)$个feature map concat一起。
• Pytorch实现

性能分析

• 由$r_s$可看出，当depthwise convolution 的kernel size $d$和前面的卷积核大小差不多时， FLOP运算量是普通卷积$\frac{1}{s}$
• 论文中把feature maps分为2组时精度损失较少。

Bottleneck

• 第一个Ghost module对channels进行扩充， 第二个Ghost module对channels进行降低。

Base Model

实验

在分类和检测任务上还是表现比较出色的。

• Classifier in cifar and imagenet
  
  
• Detector in Coco