深度学习总结（三）ResNet

ResNet残差网络

1、核心组件：（加了直连）

Plain net: 可以拟合出任意目标映射H(x）;

Residual net: 

 可以拟合出任意目标映射F(x），H(x) = F(x) + x

 F(x)是残差映射，相对于identity来说；

 当H(x)最优映射接近identity时，很容易捕捉到小的扰动；

                              

解释：上图左边为普通结构，也就是H(x) = F(x); 右边为残差块，在原始卷积结果上，加了一个直连，使得映射 H(x) = F(x) + x;

为什么这样做：可避免梯度消失，如对H(x) = F(x) + x求导，H'(x) = F'(x) + 1 也就是无论F'(x) 有多小，H'(x)都会大于1；

 

也可表示为：

               

2、设计：

全是3*3卷积核；

卷积步长2取代池化；

用BN;

取消了：Max池化；全链接；Dropout；

 

                                            

上图分解后：

      

虚线的直连部分为尺寸降维（步长为2），通道升维（64 -> 128）；

3、改进：

更深的网络：根据Bootleneck优化残差映射网络；

原始：3*3*256*256 -> 3*3*256*256

优化：1*1*256*64 -> 3*3*64*64 -> 1*1*64*256;