深度学习常见的网络

5层卷积层
所有的卷积层都使所有的卷积层都使ReLU作为线性映射函数，模型收敛速度更快
在多个GPU上进模型的训练不仅能提高模型的训练速度，还能提高数据的规模
使?LRN将局部特征归化为结果ReLU激活函数的输送可以有效降低错误率
最重叠的池化（overlapping max pooling），即池化范围z与步?s存在关系 （如
中核尺度为 ），避免平均池化（average pooling）的平均效应
随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合

整个网络使卷积核尺相同 和最池化尺和最池化尺 。 - 卷积的意义
主要在于线性变换，输出通道数和输出通道数保持不变，未发送降维。
两个 卷积层串联相当于一个5x5 卷积层，感受野 。同样地，3个
卷积层串联的效果相当于一个7x7 卷积层。这种连接式使得络参数量大
多层激活函数使网络特征的学习更强。
VGGNet训练时有一个技巧，先训练浅层的简单络VGG11，再复?VGG11的权重来
初始化VGG13反复训练，初始化VGG能使训练时收敛更快。
在训练过程中，多尺度的变换增强了原始数据模型不易过度拟合。

inception
多尺寸卷积核感知不同视野范围的特征，最后通过堆叠concat的方式进行特征融合
不同的卷积核意味着不同的感觉野，最终拼接意味着不同尺度特征的融合；
卷积核采1、3、5的原因主要是为了方便。设置卷积步stride=1之后，只要
分别设定pad=0、1、2，卷积后可获得相同维度的特征，然后可获得这些特征
直接拼接起来；
?随着层数的增加，特征越抽象，每个特征所涉及的感觉野也越多
加，3x3和5x还应增加5卷积的例子。然而，使5卷积x5的卷积核仍然会带来巨大的计算量。
为此，章借鉴NIN2，采?1x1卷积核来进降维。

借鉴VGG-19.不同的是，网络退化的问题是通过残差来解决的。