论文笔记：VarGNet: Variable Group Convolutional Neural Network for Efficient Embedded Computing

</svg>

<ul><li>固定group convolution中每个group的channel个数，而不是遵循现有的做法：固定group的个数</li><li>各层之间的计算策略由于group channel个数的固定，使得模型在硬件端更容易优化</li></ul>

<h3><a name="t1"></a><a id="_5"></a>设计满足<a href="https://so.csdn.net/so/search?q=%E5%B5%8C%E5%85%A5%E5%BC%8F&spm=1001.2101.3001.7020" target="_blank" rel="external nofollow" target="_blank" class="hl hl-1" data-report-view="{"spm":"1001.2101.3001.7020","dest":"https://so.csdn.net/so/search?q=%E5%B5%8C%E5%85%A5%E5%BC%8F&spm=1001.2101.3001.7020"}" data-report-click="{"spm":"1001.2101.3001.7020","dest":"https://so.csdn.net/so/search?q=%E5%B5%8C%E5%85%A5%E5%BC%8F&spm=1001.2101.3001.7020"}" data-tit="嵌入式" data-pretit="嵌入式">嵌入式</a>端上网络的几种思路：两个方向</h3>

<ul><li>设计出算力需求少的网络（减少乘加次数，MAdds），如shufflenet v1/v2, mobilenet v1/v2</li><li>从FPGA（硬件）、编译器方面入手，优化卷积等操作的计算方式 但是上述的两个发展方向，往往是背道而驰的。如果单纯降低MAdds，整体的latency就会下降；而如果单独对编译器/硬件进行优化，则使得网络的优化比较局限（因为硬件优化往往是针对性的）</li><li>这里提出的VarGNet则从两方面同时入手：最大程度地匹配数据的layout，从而使得一次卷积操作中，所需的数据都在on-chip memory中，降低on-chip/ off-chip memory的通信时间开销</li></ul>

<h3><a name="t2"></a><a id="Vargnet_11"></a>Vargnet的改进思路</h3>

<ul><li>一个现象：若在网络中各层的计算量是平衡的，则网络更容易优化</li><li>基于MobileNet中的可分离卷积，本文提出了固定每个group中的通道数，自动调整group个数的vargnet</li><li>这样做的优势有2方面：

<ul><li>便于编译器优化（因为每组卷积操作具有更相似的数据layout）</li><li>MobileNet中，可分离卷积实际上group个数就等于输入channel，与之相比，variable group convolution（指的是固定每个group中的channel个数的方式）能够增大网络容量，从而使得整体的网络channel个数更少，缓解了off-chip memory的通信成本</li><li>对于MobileNet V2中的Inverted Residual Block，先将输入的通道数通过pointwise卷积放大了6倍，然后进行depthwise。由于计算模式有限，这样的操作对编译器不友好。因此先将输入通道为C的feature map通过group based conv将通道数变成2C，然后再通过depthwise变成C</li></ul> </li><li>具体思路来自于卷积操作中的2个重要性质：

<ul><li>卷积核在整个卷积过程中会被多次使用(Feature Map中的每个坐标都需要)，而Feature Map只会用一次</li><li>卷积核的内存占用远比Feature Map小。一次卷积操作中，内存占用分别为：

k^2C

k2C vs

2HWC

2HWC(因为要存结果)</li></ul> </li><li>因此要求：1. 各层的计算强度尽可能均衡，降低总延时；2. 输入Feature Map尽可能少（减少内存的调度）

<ul><li>对于1. 可以增加可分离卷积中depthwise的比例</li><li>对于2. 可以减少Feature Map的channel个数</li></ul> </li><li>可变组卷积：

<ul><li>基于上述的2点要求，我们可以回顾Group卷积所需的乘法次数，参考<a href="https://blog.csdn.net/richard_che/article/details/106293337" target="_blank" rel="external nofollow" >Convolution & DepthWise Conv</a>：

∗

\frac{k^2 * h * w * c_{in} * c_{out}}{groups}

groupsk2∗h∗w∗cin∗cout</li><li>在对比普通卷积的乘法次数：

′

∗

k'^2 * h * w * c_{in} * c_{out}

k′2∗h∗w∗cin∗cout</li><li>二者相除，比例为

∗

′

k^2 / groups * k'^2

k2/groups∗k′2。如果用可分离卷积，一般k取3或5，而

′

k′一般取1，groups一般等于输入Feature Map的大小，比如128，256，这就导致这两个卷积的计算量严重不平衡</li><li>因此可以减少group的个数，或者增加

base = c_{in}/group

base=cin/group这个值（对于可分离卷积来说，

c_{in} = group, base = 1

cin=group,base=1），这样就可以实现上述的要求1</li><li>base增大，意味着卷积核容量加大，表达能力提升，也可以降低

c_{in}

<ul><li>对于Normal Block而言，这样设计的好处是，当channel数变大的时候，也可以同时Load一个depthwise(variable group conv)和一个pointwise的kernel，减少片上内存与片下内存的交换频次</li><li>对于Downdsample BLock而言也是类似</li><li>Fig. 2为一个feature map中的一个点(k * k * c)，经过Normal BLock的计算流程。总的来说优势在于最频繁使用的卷积核一只放在SRAM中，而且中间的计算结果（第一个Variable的值也在），有效地利用SRAM，避免频繁的内存交换 <img src="https://img-blog.csdnimg.cn/20200602190519409.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY2hhcmRfY2hl,size_16,color_FFFFFF,t_70#pic_center" alt="在这里插入图片描述"></li></ul> </li></ul>

</div><div data-report-view="{"mod":"1585297308_001","spm":"1001.2101.3001.6548","dest":"https://blog.csdn.net/richard_che/article/details/106502823","extend1":"pc","ab":"new"}"><div></div></div>

</div>

论文笔记：VarGNet: Variable Group Convolutional Neural Network for Efficient Embedded Computing

继续阅读

证券从业合格证书什么时候打印？有哪些注意事项？

【干货满满】初级银行从业考试《个人理财》重点梳理

2020年经济师考试，难吗？

初级银行从业资格证有什么用？

MBA提前面试纯干货分享

MBA值得学么

通俗理解查准率(precision)和查全率(recall)

论文阅读笔记（三）：Research on Network Attack Effect Evaluation Based on Confrontational Perspective一. 论文简介二. 创新点和贡献：三. 相关领域的概述(related work)四. 作者的方案五. 主要的信息流（approach）六. 总结

吴恩达logistic回归实现

【人工智能行业大师访谈1】吴恩达采访 Geoffery Hinton

深度学习模型分析人类复杂疾病的准确性

人工智能如何有效地运用于自然语言处理

【趋高机器视觉】机器视觉技术原理解析及解决方案

吴恩达 coursera ML 第七课总结+作业答案前言目录正文模型表示作业答案

解码器用于语义分割：数据依赖的解码可以实现灵活的特征聚合

cs231n斯坦福基于卷积神经网络的CV学习笔记（一）KNN和线性分类器/分类器损失/反向传播一，KNN图像分类算法二，线性分类器三，线性分类器损失四，反向传播五，神经网络