博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Identity Mappings in Deep Residual Networks
阅读量:6323 次
发布时间:2019-06-22

本文共 498 字,大约阅读时间需要 1 分钟。

论文地址:

译文地址:

摘要

作为一种极深的网络框架,在精度和收敛等方面都展现出了很好的特性。在本文中,我们分析了残差块(residual building blocks)背后的计算传播方式,表明了当跳跃连接(skip connections)以及附加激活项都使用恒等映射(identity mappings)时,前向和后向的信号能够直接的从一个block 传递到其他任意一个block。一系列的“消融”实验(ablation experiments)也验证了这些恒等映射的重要性。这促使我们提出了一个新的残差单元,它使得训练变得更简单,同时也提高了网络的泛化能力。我们报告了1001层ResNet在CIFAR-10(4.62\% error) 和CIFAR-100上的结果,以及200层ResNet在ImageNet上的结果。代码可在 上下载。

介绍

这里写图片描述
Fig.1 (a) 原始残差单元;(b) 本文提出的残差单元;右:1001层ResNets 在CIFAR-10上的训练曲线。实线对应测试误差(右侧的y轴),虚线对应训练损失(左侧的y轴)。本文提出的单元使得ResNet-1001的训练更简单。

 

你可能感兴趣的文章
iOS开发UI篇—常见的项目文件介绍
查看>>
python2.0_day21_web聊天室一
查看>>
MySQL server has gone away 问题的解决方法
查看>>
使用BeanUtils设置属性转换String到Date类型
查看>>
C# DateTime和String转换
查看>>
js判断函数是否存在、判断是否为函数
查看>>
UVA 10564 Paths through the Hourglass[DP 打印]
查看>>
洛谷P1119 灾后重建[Floyd]
查看>>
将图片二进制流上传到服务器
查看>>
Struts2标签
查看>>
activemq安全设置 设置admin的用户名和密码
查看>>
HBase 的表结构
查看>>
Android 信号处理面面观 之 信号定义、行为和来源
查看>>
windows下的 gvim - su'blime text 的使用
查看>>
Linux在应用层读写寄存器的方法
查看>>
【转】 Class.forName()用法及与new区别 详解
查看>>
ubuntu 删除自带软件的方法
查看>>
复杂可编程逻辑器件CPLD的基本结构
查看>>
mybatis下的分页,支持所有的数据库
查看>>
Spring AOP中级——应用场景
查看>>