今天研究刚买的yolo目标检查的书，看到残差网络，残差思想的名词。
感觉“残差”这个词比较生僻，生猛，以前貌似也看到过，没注意，这次先停下来把这个概念搞懂。
说起CNN卷积神经网络大家都知道，学习人工智能的没法不知道。
“残差”网络正是缘起于CNN，主要是解决CNN网络层数增加，效率精度反而下降的问题。
残差的英文是residual，（为防止很多概念名称翻译过来变味，走样，我的习惯是去查查英文中的原意，这样更好理解一点）
牛津词典
adj.
[only before noun] (formal) 剩余的；残留的
remaining at the end of a process
柯林斯词典
residual
- ADJ残留的;剩余的;遗留的Residualis used to describe what remains of something when most of it has gone.
英英释义
something left after other parts have been taken away
英文解释比较清楚，“remaining at the end of a process”，让我感觉有点像人不在了，剩下骨灰那意思。。。
言归正传：
在卷积网络的实践中，人们发现了退化（degradation）现象。随着网络深度的增加，模型的准确率会降低，也就是说，较深的网络模型反而比浅层网络有更大的训练误差和测试误差。
论文比较长，用wps AI总结了一下：
这里面有两个信息值得关注。
1：残差学习，即学习的是残差，即以残差作为视觉、角度来衡量、比较、学习。这一点至关重要，与传统的y，y`有本质区别。怎么理解呢？就好比，两个双胞胎的脸部图片进行分类比较，CNN传统的思路是找特征进行比较，而残差网络的思想是去掉相似的部分，比如皮肤，肌肉，骨骼，剩下的东东进行比较，例如一颗痣，一颗智齿，是不是有点恶心，但是这是我第一主观理解。。。
2：怎么实现残差学习，通过“短路链接”的方式。
通过shortcut connections将浅层网络输出的值通过恒等映射直接传递到深层网络上，从而保证深层网络的误差至少不会超过浅层网络。
也就是相当于绿色通道，意思就是，你别算来算去，给弄复杂（反了），有点类似门控神经网络“从过去的状态中选择性地记忆一些信息”的意思。也就是，确定是一个好学生，别算来算去弄去弄成差生了，直接“绿色通道”，保送。
至于为什么，原理是什么不用去深究了。这都是被实验验证出来的，效果好就成立，反之不成立。
本文参考：
https://wuli.wiki/changed/ResNet.html