1.SGD

隨機(jī)梯度下降

隨機(jī)梯度下降和其他的梯度下降主要區(qū)別，在于SGD每次只使用一個數(shù)據(jù)樣本，去計(jì)算損失函數(shù)，求梯度，更新參數(shù)。這種方法的計(jì)算速度快，但是下降的速度慢，可能會在最低處兩邊震蕩，停留在局部最優(yōu)。

2.SGDM

SGM with Momentum：動量梯度下降

動量梯度下降，在進(jìn)行參數(shù)更新之前，會對之前的梯度信息，進(jìn)行指數(shù)加權(quán)平均，然后使用加權(quán)平均之后的梯度，來代替原梯度，進(jìn)行參數(shù)的更新。如此，更新的時候，都會包含之前的梯度信息。

計(jì)算的時候，會在加權(quán)平均的梯度上加上一個beta參數(shù)，原梯度加上1-beta，二者之和就是用于進(jìn)行參數(shù)更新的動量梯度。

由于有之前的梯度信息，因此該方法相當(dāng)于對梯度下降加入了一個慣性。如果前面的是下降，那么此處會下降更快，如果突然接觸到了最低點(diǎn)，也會因?yàn)橛袆恿?，而再往前走走。也就是說當(dāng)前的方向，由此前積累的方向，和現(xiàn)在的梯度方向共同決定。因此，訓(xùn)練過程的震蕩幅度會變小，速度變快。

SGDM速度沒Adam快，但泛化能力好。

3.Adam

Adam是一種在深度學(xué)習(xí)模型中用來替代隨機(jī)梯度下降的優(yōu)化算法

它是SGDM和RMSProp算法的結(jié)合，訓(xùn)練速度快，泛化能力不太行。

4.Adagrad

Adaptive Gradient自適應(yīng)步長

該方法為現(xiàn)在的梯度*步長添加了一個系數(shù)：1/（歷史梯度的平方和，再開根號）

在數(shù)據(jù)分布稀疏的時候，能更好地利用稀疏梯度的信息，比標(biāo)準(zhǔn)的SGD更有效地收斂。

5.RMSProp

梯度平方根root mean square prop

該方法和Adagrad的區(qū)別就是分母不一樣，使得系數(shù)不會因?yàn)榍皫撞降奶荻忍蠖鴮?dǎo)致分母太大，從而導(dǎo)致系數(shù)變得太小而走不動了。類似于Momentum的計(jì)算方式。

6.NAG

Nesterov Accelerated Gradient，是在SGD和SGDM的基礎(chǔ)上的改進(jìn)，在SGDM中，采用的梯度方向，是由當(dāng)前的梯度方向，以及前面累積的梯度方向共同決定，但在NAG中，是先使用累積的動量計(jì)算一次，得到下一次的梯度方向，再把下一個點(diǎn)的梯度方向，與歷史累積動量相結(jié)合，計(jì)算現(xiàn)在這個時刻的累計(jì)動量。

以上就是python人工智能深度學(xué)習(xí)算法優(yōu)化的詳細(xì)內(nèi)容，更多關(guān)于python人工智能算法優(yōu)化的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論