优化算法
1 GD/SGD/mini-batch GD
GD：Gradient Descent，就是传统意义上的梯度下降，也叫batch GD。
SGD：随机梯度下降。一次只随机选择一个样本进行训练和梯度更新。
mini-batch GD：小批量梯度下降。GD训练的每次迭代一定是向着最优方向前进，但SGD和mini-batch GD不一定，可能会”震荡“。把所有样本一次放进网络，占用太多内存，甚至内存容纳不下如此大的数据量，因此可以分批次训练。可见，SGD是mini-batch GD的特例。
2 动量梯度下降
一个有用的方法：指数加权平均。
假如有N天的数据，\(a_1,a_2,a_3,...,a_N\)
如果想拟合一条比较平滑的曲线，怎么做呢。可以使用指数加权平均。概括的说，就是平均前m天的数据作为一个数据点：
\(b_0=0\)
\(b_t = \beta*b_{t-1} + (1-\beta)*a_t\)
比如\(\beta\)取0.9，那么就相当于是平均了10天的数据，这会比较平滑。
为什么叫指数加权平均？是因为，将\(b_t\)计算公式中的\(b_{t-1}\)展开，依次展开下去，会发现：
\(b_t = \beta*(\beta*b_{t-2}+(1-\beta)*a_{t-1})+(1-\beta)*a_t\)
合并一下，前面的数据乘以\(\beta\)的m次方的平均值。因此叫做指数加权平均。
指数加权平均的偏差修正：
很显然，上面公式汇总，假如\(\beta=0.9\)，是要平均前10天的数据，则前9天的数据，做加权平均，并没有足够的数据，这会导致前九天数据偏小。举例来说，第一天\(b_1\)仅仅是\(a_1\)的十分之一。可以做偏差修正：
\(b_0=0\)
\(b_t = \beta*b_{t-1} + (1-\beta)*a_t\)
\(b_t = \frac{b_t}{1-\beta ^t}\)
有了指数加权平均的基本知识，就可以讲Moment Gradient Descent。
带动量的梯度下降，他是为了加快学习速度的优化算法。假如参数W方向希望学的快一点，b方向学的慢一点。普通的梯度下降的结果可能恰恰相反，使得b方向学的比较快，从而引发震荡。所以想要让b方向学的慢一点，这时可以用动量梯度下降。算法如下：
For each epco \(t\):
cal \(dW,dB\) for each mini-batch.
\(V_{dW}=\beta*V_{d_W}+(1-\beta)*dW\)
\(V_{db}=\beta*V_{d_b}+(1-\beta)*db\)
\(W = W-\alpha*V_{dW}\)
\(b=b-\alpha*V_{db}\)
可见，就是将梯度做了指数加权平均。至于为什么叫动量梯度下降，可能是因为\(V_{dW}\)的计算式中，把\(dW\)看作加速度，把\(V_{dW}\)看作速度。
3 RMSprob
Root Mean Square prob。
这是另一种加快学习的方法。其基本思想也是让b学的慢一点，让W学的快一点，从而更快更准的趋向于最优点。
For each epco \(t\):
cal \(dW,dB\) for each mini-batch.
\(S_{dW}=\beta*S_{dW}+(1-\beta)*(dW)^2\)
\(S_{db}=\beta*S_{db}+(1-\beta)*(db)^2\)
\(W = W-\alpha*\frac{dW}{\sqrt{S_{dW}}}\)
\(b = b-\alpha*\frac{db}{\sqrt{S_{db}}}\)
可见，当梯度较大，则会使得\(S\)较大，从而使得更新变缓慢。
4 Adam
Adaptive Moment Estimation
这是比较普遍的适用于各种网络的一种方法。称作自适应的动量梯度下降。这是上面动量梯度下降和RMSprob的结合版本，效果比较好。两者做加权指数平均的时候，都做了修正。
For each epco \(t\):
cal \(dW,dB\) for each mini-batch.
\(V_{dW}=\beta_1*V_{d_W}+(1-\beta_1)*dW\)
\(V_{db}=\beta_1*V_{d_b}+(1-\beta_1)*db\)
\(S_{dW}=\beta_2*S_{dW}+(1-\beta_2)*(dW)^2\)
\(S_{db}=\beta_2*S_{db}+(1-\beta_2)*(db)^2\)
\(V_{dW}^{correction} = \frac{V_{dW}}{1-\beta_1^t}\)
\(V_{db}^{correction} = \frac{V_{db}}{1-\beta1^t}\)
\(S_{dW}^{correction} = \frac{S_{dW}}{1-\beta_2^t}\)
\(S_{db}^{correction} = \frac{S_{db}}{1-\beta_2^t}\)
\(W = W-\alpha*\frac{V_{dW}^{correction}}{\sqrt{S_{dW}^{correcti}}+\varepsilon}\)
\(b = b-\alpha*\frac{V_{db}^{correction}}{\sqrt{S_{db}^{correcti}}+\varepsilon}\)
可见，就是在RMSprob中，用动量梯度下降中的梯度指数加权代替梯度，同时所有指数加权项都做了偏差修正。另外，分母加了\(\varepsilon\)，这是为了防止除以很小的数造成不稳定。公式中共有4个超参数，他们的取值经验是：
\(\alpha\)：学习率，需要调试
\(\beta_1\)：取0.9
\(\beta_2\)：Adam的作者建议取0.999
\(\varepsilon\)：取\(10^{-8}\)，并不影响学习效果。
另外，值得注意的是，学习过程中可能有两种窘境，一是困在局部最优，另一个是遇平缓区学习的过慢。采用mini-batch下前者出现的概率很小，即使困在最优也能跳出来，前提是数据量足够。但后者比较棘手，Adam是个比较好的优化算法，一定程度上解决了这个问题。
5 学习率衰减
训练过程中，随着迭代次数，学习率相应减少。
在FB的一篇论文中，使用了不同时间段（迭代次数区间段）采用不同的学习率的方法，效果比较好。