1.Wide ResNet

Wide ResNet为Zagoruyko等人于2016年提出，其认为残差结构比深度更重要。他们设计了更宽的残差模块（如图2所示），实验证明50层的加宽残差网络效果比152层的原ResNet网络效果更好。

联合编译：Blake、高斐

2016年8月31日，Google团队宣布针对TensorFlow开源了最新发布的TF-slim资料库，它是一个可以定义、训练和评估模型的轻量级的软件包，也能对图像分类领域中几个主要有竞争力的网络进行检验和定义模型。

为了进一步推进这个领域的进步，今天Google团队宣布发布Inception-ResNet-v2（一种卷积神经网络——CNN），它在ILSVRC图像分类基准测试中实现了当下最好的成绩。Inception-ResNet-v2是早期Inception V3模型变化而来，从微软的残差网络（ResNet）论文中得到了一些灵感。相关论文信息可以参看我们的论文

作者 | 小马
来源 | FightingCV

一、残差结构

01 深层网络诊断越深越好吗？

深度学习的概念源于人工神经网络，而之所以叫深度学习。我认为有 2 点，第一是网络很深，非常深，第二是学习，如何学习呢？通过数学建模，不断调整参数达到减少目标值和预测值之间的误差，从而可以拟合任意的曲线，达到准确预测的目的。

而今天我们就来谈谈深度学习的一个特点：深。

深层网络一般会比浅层网络效果好，包含的信息更多，因此，如果我们想要提升模型准确率，最直接的方法就是把网络设计的更深，这样模型的准确率会越来越准确。

1. ONNX Runtime 简介

ONNX Runtime（ORT）

“现在引用最多的几个神经网络都是建立在我的实验室成果之上的！”

ResNet

从AlexNet开始，网络结构逐渐向越来越深的方向发展，大家直观地认为随着网络深度的增加，网络的特征拟合能力会越来越强，因此更深的模型理应取得更好的效果。但是人们发现随着网络深度的增加，模型的精度不是一直提升的，而且训练的误差和测试的误差都变高了，这显然不是过拟合的问题。另外，batch normalization的提出也基本解决了网络梯度消失和梯度爆炸问题。作者认为这应该是一个优化问题，即随着网络的加深，网络优化会变得更加困难。解决方案就是引入了short connection，它的思想就是与其让stack layer去直接学习潜在映射，不如去学习残差，这样会更容易优化，因此ResNet诞生了。

简 介

通过阅读宝略科技公众号往期介绍的VGGNet、GoogLeNet等文章，不难发现，增加深度可以显著提高网络的学习表达能力，然而实验表明，采用简单的卷积堆叠，到了一定的层数后，优化效果不升反降，这是由于网络加深导致梯度消失/梯度爆炸以及退化现象出现。ResNet引入批归一化（Batch Normalization）和残差块（Residual Block）改善了上述问题，获得2015年ILSVRC比赛的冠军，使训练1000层以上的网络成为可能。