13 层网络如何拿下 83% 精度?极简神经网络架构 VanillaNet 作者亲自解读_全球报资讯
2023-06-01 12:12:34来源:ZAKER科技
过去几十年里,人工神经网络取得了显著的进展,这归功于一种理念:增加网络的复杂度可以提高性能。
从 AlexNet 引爆了深度学习在计算机视觉的热潮后,研究者们为了提升深度网络的性能,精心地设计出了各种各样的模块,包括 ResNet 中的残差,ViT 中的注意力机制等。然而,从 ResNet 到 ViT 以来,尽管深层的复杂神经网络可以取得很好的性能,但在实际应用中,这些网络的复杂度和硬件亲和程度使其部署时常常会遇到困难。
(资料图)
因此,来自华为诺亚、悉尼大学的研究者们设计了一种极简的神经网络模型 VanillaNet,期望用最简单的,类似 LeNet 和 AlexNet 这样的结构,达到甚至超越现在网络的精度,成为新一代的视觉骨干网络。
本工作的核心是如何让一个浅层网络在没有复杂链接和 attention 的情况下,尽可能地提升精度,针对极简网络面临的非线性大幅下降的技术难题,本工作提出了深层训练和级数激活函数两个方案来解决此问题。最终,6 层的 VanillaNet 可以超过 ResNet-34,13 层的 VanillaNet 在 ImageNet 可以达到 83% 的 top1 精度,超过几百层网络的性能,并展现了非凡的硬件效率优势。
为了更好的帮助大家了解这项研究,机器之心最新一期线上分享邀请到了论文作者之一陈汉亭,为大家解读他们近期的工作 VanillaNet。
分享主题:VanillaNet:深度学习中极简主义的力量
嘉宾简介:陈汉亭,华为诺亚方舟实验室研究员,主要研究方向为深度学习和计算机视觉。他在 NeurIPS/CVPR/TPAMI 等顶会顶刊发表 20 余篇论文,多项研究成果应用于华为产品。他的谷歌学术引用 2000+,其中加法网络、IPT 等工作受到广泛关注。
分享摘要:华为诺亚实验室的研究员提出了一种极简网络架构 VanillaNet,不含残差链接,自注意力等复杂的模块,却可以在计算机视觉任务上取得惊人的性能。在 ImageNet 图像识别任务上,13 层的 VanillaNet 在 ImageNet 可以达到 83% 的 top1 精度,速度超过同精度的 Swin Transformer 两倍以上。
相关链接:
论文链接:https://arxiv.org/abs/2305.12972
直播间:关注机动组视频号,立即预约直播。
交流群:本次直播有 QA 环节,欢迎加入本次直播交流群探讨交流。
责任编辑:hnmd003
相关阅读
-
13 层网络如何拿下 83% 精度?极简神经网络架构 VanillaNet 作者亲自解读_全球报资讯
过去几十年里,人工神经网络取得了显著的进展,这归功于一种理念:增加网络的复杂度可以提高性能。从AlexNe
2023-06-01 -
世界观焦点:易动宇航获超亿元 B 轮融资,鼎晖百孚、深圳高新投、联想创投等出手
投资界(ID:pedaily2012)6月1日消息,易动宇航近日完成超亿元B轮融资,由鼎晖百孚、深圳高新投、联想创投
2023-06-01 -
微软宣布 2023Q3 推出 MRTK V3 工具包,此前消息称该团队全员解散 全球今日讯
品玩6月1日讯,微软于今年1月宣布展开裁员1万人计划,消息称HoloLens和MixedReality头显部门是重点优化对象
2023-06-01 -
省心价放心换 京东 618 开门红游戏手机 10 秒销量破万台 环球聚看点
5月31日晚8点,京东618迎来开门红!小米、荣耀、一加、iQOO、华为手机成交额1秒破亿元。开门红10分钟,小米
2023-06-01
相关阅读
-
13 层网络如何拿下 83% 精度?极简神经网络架构 VanillaNet 作者亲自解读_全球报资讯
过去几十年里,人工神经网络取得了显著的进展,这归功于一种理念:增加网络的复杂度可以提高性能。从AlexNe
-
环球热点评!“百亿”新乳业发布最新战略目标:力争年收入保持双位数增长、净利率5年倍增
“百亿”新乳业发布最新战略目标:力争年收入保持双位数增长、净利率5年倍增
-
增额终身寿险可以买吗?优点和缺点是什么? 焦点讯息
可以买。 增额终身寿险是一种保险,它的特点是保障期限为终身,且保额会随着时间的推移而增加。增额终身寿
-
合作医疗和百万医疗的区别是什么?可以一起报销吗?_世界速讯
合作医疗,是指在城市和农村建立基层医疗卫生服务体系的同时,由政府组织建立具有风险分散、资金互助和利益
-
世界即时看!百万医疗什么时候生效?报销范围是多大?
一般情况下,百万医疗保险在购买后会有一定的等待期。这是因为保险公司需要核实投保人的健康状况以及是否存
-
每日快看:200万保险一年多少钱?怎么买?
根据不同的保险公司和产品,200万保险一年的保险费会有所不同。一般来说,200万保险一年的保险费在几千元到
-
平安少儿重疾险哪个性价比高?在哪里购买?
目前市场上存在多种不同的少儿重疾险产品,而平安少儿重疾险有平安少儿盛世优悦重疾险和平安少儿鑫福星、守
-
爱马仕万元针织衫不合格被罚30万 当前速递
天眼查App显示,近日,爱马仕(上海)贸易有限公司北京第一分公司因产品质量不合格,被北京市朝阳区市场
-
丰田2025年在美国投产纯电动SUV,并再投21亿美元建电池厂
丰田2025年在美国投产纯电动SUV,并再投21亿美元建电池厂盖世汽车讯6月1日,丰田汽车宣布,为推进电动化进
-
哪吒汽车2023年5月交付13,029台,海外出口量占比超15%
哪吒汽车2023年5月交付13,029台,海外出口量占比超15%6月1日,哪吒汽车5月销量出炉。5月,哪吒汽车交付13,0
-
再创新高,广汽埃安5月销量超4.5万辆-每日报道
再创新高,广汽埃安5月销量超4 5万辆6月1日,广汽埃安公布5月销量成绩,该月埃安销量45,003辆,同比增长114
-
景点及旅游板块异动拉升,峨眉山A两连板
景点及旅游板块异动拉升,峨眉山A两连板,九华旅游(603199)涨超7%,长白山(603099)、天目湖(603136)
-
功率因数是什么?功率因数越大越好还是越小越好?
功率因数是什么?功率因数(Power Factor)是衡量电气设备效率高低的一个系数。它的大小与电路的负荷性质...
-
动平衡原理是什么?动平衡和四轮定位区别
动平衡原理是什么?动平衡的原理:就是在设备运行的状态下,检测出不平衡的方向以及加配重的点,从而达到...
-
耦合器的作用有哪些?耦合器和功分器的区别
耦合器的作用有哪些?1 信号传输耦合器可以通过传输信号来实现两个电路之间的通信。当一个电路无法与另...
-
百度搜索是互联网+吗?百度搜索什么会有特效?
百度搜索是互联网+吗?百度不是互联网,是一个集群计算机,拥有中国搜索市场最大的占有率,也就是说他拥...
-
教育部:2023年全国高考报名人数1291万人-天天观点
2023年全国高考报名人数1291万人,比去年增加98万人,再创历史新高。教育部会同国家教育统一考试工作部际联
-
Hyro宣布完成2000万美元B轮融资,由Macquarie Capital领投-当前报道
5月31日,会话式人工智能公司Hyro宣布完成2000万美元B轮融资,本轮融资由MacquarieCapital领投,新融资使该
-
美团闪购首场直播,一小时iphone销量破亿
近日,美团闪购在其平台首次举办了一场直播活动,吸引了大量用户前来观看和购买。据悉,该活动仅持续了一个
-
世界热点!罗永浩京东首播全场销售额突破 15 亿元
品玩6月1日讯,据交个朋友官博消息,5月31日晚8点,罗永浩现身京东交个朋友直播间带货,全场销售额突破15亿
-
世界观焦点:易动宇航获超亿元 B 轮融资,鼎晖百孚、深圳高新投、联想创投等出手
投资界(ID:pedaily2012)6月1日消息,易动宇航近日完成超亿元B轮融资,由鼎晖百孚、深圳高新投、联想创投
-
微软宣布 2023Q3 推出 MRTK V3 工具包,此前消息称该团队全员解散 全球今日讯
品玩6月1日讯,微软于今年1月宣布展开裁员1万人计划,消息称HoloLens和MixedReality头显部门是重点优化对象
-
三星欲再次进入 AR/VR 领域,但先从芯片方面入手 报道
近日消息,三星或在今年下半年或明年上半年重新入局虚拟现实技术领域,并计划在未来先着手于芯片并推出一款
-
省心价放心换 京东 618 开门红游戏手机 10 秒销量破万台 环球聚看点
5月31日晚8点,京东618迎来开门红!小米、荣耀、一加、iQOO、华为手机成交额1秒破亿元。开门红10分钟,小米
-
黄牛倒卖、代吃!肯德基麦当劳的儿童节玩具提前断货!|全球速看
「核心要点」近日,麦当劳、肯德基的六一儿童节限定玩具被抢购一空。由于供应不足,一些黄牛通过二手电商平
-
光盘复制到一半复制不过去怎么办?光盘复制和刻录的区别
光盘复制到一半复制不过去怎么办?1 光盘有损坏:如果光盘有划痕、污渍或裂纹,可能会导致读取错误,...
-
环球快看:6月2日起文创集市 摄影大赛开始征集作品
由市商务局、西藏文化旅游创意园区党工委和西藏文化旅游创意园区管委会主办,西藏慈觉林文化创意投资管理有
-
助力河长制 争当河小青 拉萨市城关区雪社区开展志愿服务活动_速读
为进一步深化城市基层党建引领基层治理,推动驻地单位党组织和在职党员“进社区报到”开展志愿服务工作...
-
2023年创业培训师资提升班开班_世界热推荐
近日,西藏自治区2023年创业培训师资提升班开班仪式举行,来自拉萨市等地(市)的80名学员将接受为期10天的
-
拉萨市公安院校公安专业招生体检工作30日启动
记者日前从市教育局了解到,5月30日、31日,拉萨市2023年公安院校公安专业考生体检、面试和体能测评工作将
精彩推荐
阅读排行
精彩推送
- qq掉线了怎么回事?qq掉线了怎么...
- 什么是本振泄露?本振泄露的原因...
- 集群通信是什么意思?集群通信与...
- 比特精灵怎么用?比特精灵下载速...
- 分辨率和刷新率有什么区别?分辨...
- QQ音乐怎么上传歌词?qq音乐上传...
- 试用期内公司可以随意辞退员工吗...
- 涉嫌是已经定罪了吗?涉嫌刑事拘...
- 刑拘是什么意思?刑拘一般多久可...
- 继子有继承权吗?继子女的抚养关...
- 蚂蚁保重疾险可靠吗?有必要买吗...
- 普通意外险包括些什么内容?多少...
- 全球观速讯丨国泰产险健康福重疾...
- 意外险什么时候才能生效?多少钱...
- 年金险和增额终身寿险的区别是什...
- 中科院院士赵继宗:脑机接口医疗...
- 婚姻的效力都有哪几种?婚姻效力...
- 全球微速讯:花千元在演唱会上看...
- 焦点热门:冯薪朵已无财产可赔付...
- 天天热消息:创维汽车5月交付149...
- 国有独资企业是什么意思?国有独...
- 一般累犯的构成条件是什么?一般...
- 翻供是什么意思?翻供的法律后果...
- 快递索赔是寄件人还是收件人?快...
- 如何注册企业名称?企业名称禁限...
- 养老保险人死了怎么办?59岁死了...
- 坦克世界插件在哪个文件夹
- 主力净流入什么意思?主力净流入...
- 两市融资余额增加15.30亿元,融...
- 国内首款放疗防护水凝胶完成临床...