深度学习中需要各种优化方法对损失函数loss进行优化，使得损失函数取得合适值。（局部最优或者全局最优）。 以简单函数示例，局部最优及全局最优见下图： 其中Global minimum为全局最优，Local Minimum为局部最优。
首先介绍梯度下降，梯度下降的思想为朝着导数的相反反向，其思想为，每次沿着当前的导数方向的相反方向走一步，其步数大小取决于学习率。学习率越小，走的越慢，学习率越大，走的越远。以人走路为例，学习率小的时候可能是迈了一小步，而学习率大的时候，可能跳了一大步。
下图是梯度下降示意图: 常用梯度下降方法有批梯度下降法(Batch Gradient Descent),随机梯度下降（Stochastic Gradient Descent），小批量梯度下降（Mini-Batch Gradient Desent.
参考：https://www.cnblogs.com/lliuye/p/9451903.html 以一元线性回归为例： 批梯度下降每一次迭代时，使用所有样本来进行梯度的更新。从数学上来说，梯度为每个方向的偏导数。 故梯度更新规则如下：
α（学习率）取值太小收敛速度太慢，太大则可能会Overshoot the minimum（振荡）越接近最小值时，下降速度越慢 收敛:优点： （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 （2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。否则，可能只能得到局部最优。 缺点： （1）当样本数目 m 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。 （2）由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。
从迭代的次数上来看，BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下：
和 BGD 的一次用所有数据计算梯度相比，SGD 每次更新时对每个样本进行梯度更新。由于对于很大的数据集来说，可能会有相似的样本，这样 BGD 在计算梯度时会出现冗余， 而 SGD 一次只进行一次更新，就没有冗余，而且比较快，并且可以新增样本 在趋势上是和Batch GD一致的，可能比Batch GD更好，因为其可能跳出鞍点及局部最小值等。 优点： （1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。 缺点： （1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。 （2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。（3）不易于并行实现。
参考自：https://www.cnblogs.com/lliuye/p/9451903.html 小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法，（即项加快速度 又想有稳定性）。其思想是：每次迭代 使用 batch_size 个样本来对参数进行更新。 优点： （1）通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。 （2）每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。(比如上例中的30W，设置batch_size=100时，需要迭代3000次，远小于SGD的30W次) （3）可实现并行化。 缺点： （1）batch_size的不当选择可能会带来一些问题。 batch_size的选择带来的影响： batch_size的不当选择可能会带来一些问题。 （1）在合理地范围内，增大batch_size的好处： a. 内存利用率提高了，大矩阵乘法的并行化效率提高。 b. 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 c. 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 （2）盲目增大batch_size的坏处： a. 内存利用率提高了，但是内存容量可能撑不住了。 b. 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。 c. Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。
主要思想来源于此文：https://arxiv.org/pdf/1609.04747.pdf
SGD 在 ravines 的情况下容易被困住， ravines 就是曲面的一个方向比另一个方向更陡，这时 SGD 会发生震荡而迟迟不能接近极小值： momentum通过累计梯度而进行梯度更新，这样可以逃离局部最下值。 梯度更新公式如下： 其中vt-1为上一时刻的梯度，r通常取0.9（论文不知道哪里有可以百度） 可以更快的收敛和减少振荡
然而，一个滚下山坡的球，盲目跟随斜坡，是非常不令人满意的。 我们希望有一个更聪明的球，一个球，它有一个概念，它知道在山坡再次上升之前减速。（减少振荡）
动量法每下降一步都是由前面下降方向的一个累积和当前点的梯度方向组合而成。于是一位大神（Nesterov）就开始思考，既然每一步都要将两个梯度方向（历史梯度、当前梯度）做一个合并再下降，那为什么不先按照历史梯度往前走那么一小步，按照前面一小步位置的“超前梯度”来做梯度合并呢？如此一来，小球就可以先不管三七二十一先往前走一步，在靠前一点的位置看到梯度，然后按照那个位置再来修正这一步的梯度方向。如此一来，有了超前的眼光，小球就会更加”聪明“, 这种方法被命名为Nesterov accelerated gradient 简称 NAG。 蓝色是 Momentum 的过程，会先计算当前的梯度，然后在更新后的累积梯度后会有一个大的跳跃。
而 NAG 会先在前一步的累积梯度上(brown vector)有一个大的跳跃，然后衡量一下梯度做一下修正(red vector)，这种预期的更新可以避免我们走的太快。
NAG 可以使 RNN 在很多任务上有更好的表现。
https://www.leiphone.com/news/201706/e0PuNeEzaXWsMPZX.html 这个算法就可以对低频的参数做较大的更新，对高频的做较小的更新，也因此，对于稀疏的数据它的表现很好，很好地提高了 SGD 的鲁棒性，例如识别 Youtube 视频里面的猫，训练 GloVe word embeddings，因为它们都是需要在低频的特征上有更大的更新。 参数更新规则： 超参数设定值:
一般 η 就取 0.01。
缺点:
它的缺点是分母会不断积累，这样学习率就会收缩并最终会变得非常小。
这个算法是对 Adagrad 的改进，和 Adagrad 相比，就是分母的 G 换成了过去的梯度平方的衰减平均值： 梯度更新规则: 超参数设定值: γ 一般设定为 0.9。
RMSprop 是 Geoff Hinton 提出的一种自适应学习率方法。
RMSprop 和 Adadelta 都是为了解决 Adagrad 学习率急剧下降问题的， 梯度更新规则： 超参数设置： Hinton 建议设定 γ 为 0.9, 学习率 η 为 0.001。
https://www.leiphone.com/news/201706/e0PuNeEzaXWsMPZX.html 这个算法是另一种计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ，也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值： 其中 梯度更新规则: 超参数设定值: 建议 β1 ＝ 0.9，β2 ＝ 0.999，ϵ ＝ 10e−8
实践表明，Adam 比其他适应性学习方法效果要好。
3 效果比较： https://www.leiphone.com/news/201706/e0PuNeEzaXWsMPZX.html 上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。
由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好 如何选择 如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。
Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum，
随着梯度变的稀疏，Adam 比 RMSprop 效果会好。
整体来讲，Adam 是最好的选择。
很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。
如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。 以上基本参考： 好的paper:An overview of gradient descent optimization algorithmshttps://arxiv.org/pdf/1609.04747.pdf 博客： https://www.leiphone.com/news/201709/c7nM342MTsWgau9f.html https://www.cnblogs.com/lliuye/p/9451903.html
https://pytorch.org/docs/stable/optim.html?highlight=optim#module-torch.optim 注意： 如果您需要通过.cuda（）将模型移动到GPU，请在为其构建优化器之前执行此操作。 .cuda（）之后的模型的参数将是与调用之前的对象不同的对象。 通常，在构造和使用优化程序时，应确保优化参数位于一致的位置。 举例： 使用SGD:
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9) #使用SGD 学习率为0.01 momentum为0.9 1使用Adam
torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0) 1参数含义：
params(iterable)：可用于迭代优化的参数或者定义参数组的dicts。 lr (float, optional) ：学习率(默认: 1e-3) betas (Tuple[float, float], optional)：用于计算梯度的平均和平方的系数(默认: (0.9, 0.999)) eps (float, optional)：为了提高数值稳定性而添加到分母的一个项(默认: 1e-8) weight_decay (float, optional)：权重衰减(如L2惩罚)(默认: 0) 12345 step(closure=None)函数：执行单一的优化步骤 closure (callable, optional)：用于重新评估模型并返回损失的一个闭包 123 Adam的特点有： 1、结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点; 2、对内存需求较小; 3、为不同的参数计算不同的自适应学习率; 4、也适用于大多非凸优化-适用于大数据集和高维空间。参考：
https://blog.csdn.net/kgzhang/article/details/77479737
https://blog.csdn.net/wehung/article/details/89306971
