用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向科技前沿
关键字  范围   
 
高通AI提出:用于高效神经网络设计的结构化卷积
来源:AIWalker | 2020/8/10 7:19:53 | 浏览:85 | 评论:0

 

高通AI提出:用于高效神经网络设计的结构化卷积

https://arxiv.org/abs/2008.02454

【Happy导语】本文是高通AI研究院提出了的一种高效网络结构设计新思路。该文的思路非常巧妙,它与ACNet具有“异曲同工之妙”,本质上的思路非常相似,但出发点并不相同。全文通篇读下来的第一感觉就是:知道是什么意思,但是尚未想通怎么去做。期待作者能开源该文的code。初步感觉这是一个非常不错的网络架构加速的方案。

Abstract

作者通过对CNN中的基础模块中的结构冗余进行探索,提出了一种高效网络设计方案。作者首先引入了一种广义的复合核结构,它有助于进行更快的卷积操作(通过引入更高效的sum-pooling)。基于此,作者提出了Structured Convolution,并证实将卷积分解为sum-pooling+更小尺寸卷积有助减小计算复杂度与参数量,作者同时还证明了如何将其应用到2D和3D卷积核以及全连接层。更进一步,作者还提出一种结构正则化损害用于促进网络的具有上述性质架构,在完成训练后,网络在几乎不造成性能损失下进行上述分解。

作者将上述形式卷积分解引入到不同网络架构(包含MobileNetV2、ResNet)中,可以得到更低的计算量,同时更为高效且精度损失在1%以内(ImageNet与Cifar10两个数据集),作者同时还将其引入到EfficientNet与HRNet中。相比张量分解与通道减枝,所提方法取得相当甚至更好的的复杂度降低。

该文的主要贡献包含以下几点:

  • 提出了结构化卷积,它将卷积分解成了sum-pooling+更小核尺寸的卷积;

Composite Kernels

首先,我们先来看一下复合核的前置知识。直接上原文定义咯,不太好解释。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808153553491

上面两个定义给出了与复合核相关的知识点,看公式还是比较难以理解的。下面我们就来看图示吧,见下图。它给出了一个3x3复合核,不知道各位同学有没有发现:其实它就是利用的卷积核的相加特性

高通AI提出:用于高效神经网络设计的结构化卷积

Convolution with Composite Kernels

看到上面的图,大家应该对复合核有了一点了解。接下来就看一下它与卷积之间的关系吧。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808154210742

由于为二值张量,那么就等价于X的相加操作,而无需乘法。对于卷积而言,它包含个乘法以及个加法;而这里,仅需要M个乘法,总的加法变成了:

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808154553516

以前面Fig1-b图示为例,C=1,N=3,M=4,总的加法量为。在后面的内容中,将会介绍如何将其进一步简化到.

Structured Convolution

接下来,我们再来看一下如何由复合核构建结构化卷积。首先还是先看一下关联定义。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808155008231

结构核可以通过维度C和N以及隐参数c和n进行描述,与之对应的卷积称之为结构卷积。前面的Fig1-b给出了2D形式的3x3结构核,对应参数,其中,每个元素包含2x2大小的块。下图Fig2给出了3D形式了结构核,对应参数,其中,每个元素包含的空间。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808154910924

Decomposition of Structured Convolutions

结构核的一个主要优势:all the basic elements are just shifted version of each other。这也就意味着卷积操作可以先进行sum-pooling,然后再采用更小核的卷积即可,见上图Fig3中的图示,可以看到3x3卷积可以分解为2x2的sum-pooling与2x2卷积。通过这种分解,卷积的计算量无形中少了很多。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808155858566

上图给出了一种更广义形式的卷积结构化分解示意图,而标准卷积、depthwise卷积以及point卷积可构建成3D结构核,这也就意味着上述分解适合于现有网络架构。

Reduction in Number of Parameters and Multiplications/Additions

由于sum-pooling无需参数,因此卷积的参数量从降到了;同时sum-pooling不包含乘法操作,因此只有更小的卷积贡献了乘法操作。

在常规卷积中,对于输出特征,它的乘法数量为,加法数量为。在进行分解之后,乘法数量变成了,加法的数量变成了

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808160938516

关于参数量的关系基本上就算是介绍清楚了,具体再怎么去近似啊,逐点的分析啊建议各位同学去看原文,这个不是重点,略(偷)过(懒)。

Extension to Fully Connected Layers

对于图像分类而言,全连接层是不可避免的,它也占据了非常高比例的参数量。下图给出了全连接层的分解示意图,了解了2D和3D的分解方案,再看这个就简单了,继续略(偷)过(懒)。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808161524981

Experiments

实验是检验真理的唯一标准,idea好不好还是得看实验效果好不好。所以我们就直接上结果吧。下面四个表给出了Cifar10、ImageNet数据集上MobileNetV2、ResNet、EfficientNet改造前后的性能对比。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808162033477

此外,作者还对比了所提方法与减枝、张量分解等的对比,见下图。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808162154519

最后附上MobileNetV2改造后的网络详细信息。话说,虽然作者给出了这些信息,但是并未开源代码,所以想彻底理解还是有点费力。还是期待一下作者尽快开源吧,哈哈。

高通AI提出:用于高效神经网络设计的结构化卷积image-20200808162350793
相关栏目:『科技前沿
德、奥科学家研发出全新磁驱动高速软体机器人 2020-09-26 [47]
图解: 人工智能的现状与未来 2020-09-26 [68]
一个新的物理学猜想向万物理论发起挑战,宇宙和我们想的不一样! 2020-09-26 [73]
Space X 发团了!去国际空间站10日游收5千万美元 2020-09-25 [95]
刘宽冠、江德恩等在美国化学会刊发表新作 2020-09-25 [67]
欧盟公布五大研究领域:癌症、气候变化、碳中和城市、健康水域及土壤健康 2020-09-23 [65]
马斯克发布特斯拉无极耳电池!改写电动车历史,超长续航暴击传统燃油车 2020-09-23 [52]
2020年度国家自然科学基金申请项目评审结果公布 2020-09-20 [73]
2020软科中国大学排名系列:学科精度排名 2020-09-20 [111]
30年升温10℃ “新北极”正在形成 2020-09-20 [54]
相关栏目更多文章
最新图文:
:警惕!你的个人信息在“裸奔” - “换脸”APP 后果很严重! :陈文玲: 必须推动中美关系回到正确轨道 :广州再生医学与健康广东省实验室2019年诚聘海内外英才 Colleen Flaherty 翻译 刘勤:MIT教授发文《美国经济评论》 :生命科学受益于明星科学家们的死亡 :北京和上海金融人的最新鄙视链 :日本政府《氢能利用进度表》 :美国《2016-2045年新兴科技趋势报告》 :天津工业大学“经纬英才”引进计划
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2020 ScholarsUpdate.com. All Rights Reserved.