1、L1范式和L2方式的區(qū)別

（1）L1范式是對(duì)應(yīng)參數(shù)向量絕對(duì)值之和

（2）L1范式具有稀疏性

（3）L1范式可以用來(lái)作為特征選擇，并且可解釋性較強(qiáng)（這里的原理是在實(shí)際Loss function中都需要求最小值，根據(jù)L1的定義可知L1最小值只有0，故可以通過(guò)這種方式來(lái)進(jìn)行特征選擇）

（4）L2范式是對(duì)應(yīng)參數(shù)向量的平方和，再求平方根

（5）L2范式是為了防止機(jī)器學(xué)習(xí)的過(guò)擬合，提升模型的泛化能力

2、優(yōu)化算法及其優(yōu)缺點(diǎn)

溫馨提示：在回答面試官的問(wèn)題的時(shí)候，往往將問(wèn)題往大的方面去回答，這樣不會(huì)陷于小的技術(shù)上死磕，最后很容易把自己嗑死了。

（1）隨即梯度下降

　   優(yōu)點(diǎn)：可以一定程度上解決局部最優(yōu)解的問(wèn)題

　　缺點(diǎn)：收斂速度較慢

（2）批量梯度下降

　　優(yōu)點(diǎn)：容易陷入局部最優(yōu)解

　　缺點(diǎn)：收斂速度較快

（3）mini_batch梯度下降

　　綜合隨即梯度下降和批量梯度下降的優(yōu)缺點(diǎn)，提取的一個(gè)中和的方法。

（4）牛頓法

　　牛頓法在迭代的時(shí)候，需要計(jì)算Hessian矩陣，當(dāng)維度較高的時(shí)候，計(jì)算Hessian矩陣比較困難。

（5）擬牛頓法

　　擬牛頓法是為了改進(jìn)牛頓法在迭代過(guò)程中，計(jì)算Hessian矩陣而提取的算法，它采用的方式是通過(guò)逼近Hessian的方式來(lái)進(jìn)行求解。

（6）共軛梯度

（7）啟發(fā)式的優(yōu)化算法

　　啟發(fā)式的優(yōu)化算法有遺傳算法，粒子群算法等。這類(lèi)算法的主要思想就是設(shè)定一個(gè)目標(biāo)函數(shù)，每次迭代根據(jù)相應(yīng)的策略?xún)?yōu)化種群。直到滿足什么樣的條件為止。

3、RF與GBDT之間的區(qū)別

（1）相同點(diǎn)

• 都是由多棵樹(shù)組成
• 最終的結(jié)果都是由多棵樹(shù)一起決定

（2）不同點(diǎn)

• 組成隨機(jī)森林的樹(shù)可以分類(lèi)樹(shù)也可以是回歸樹(shù)，而GBDT只由回歸樹(shù)組成
• 組成隨機(jī)森林的樹(shù)可以并行生成，而GBDT是串行生成
• 隨機(jī)森林的結(jié)果是多數(shù)表決表決的，而GBDT則是多棵樹(shù)累加之和
• 隨機(jī)森林對(duì)異常值不敏感，而GBDT對(duì)異常值比較敏感
• 隨機(jī)森林是通過(guò)減少模型的方差來(lái)提高性能，而GBDT是減少模型的偏差來(lái)提高性能的
• 隨機(jī)森林不需要進(jìn)行數(shù)據(jù)預(yù)處理，即特征歸一化。而GBDT則需要進(jìn)行特征歸一化

（3）RF：

　　優(yōu)點(diǎn)：

• 易于理解，易于可視化
• 不需要太多的數(shù)據(jù)預(yù)處理，即數(shù)據(jù)歸一化
• 不易過(guò)擬合
• 易于并行化

　　缺點(diǎn)：　　

• 不適合小樣本數(shù)據(jù)，只適合大樣本數(shù)據(jù)
• 大多數(shù)情況下，RF的精度低于GBDT
• 適合決策邊界的是矩陣，不適合對(duì)角線型

（4）GBDT

　　優(yōu)點(diǎn)：

• 精度高

　　缺點(diǎn)：

• 參數(shù)較多，容易過(guò)擬合
• 不易并行化

4、SVM的模型的推導(dǎo)

5、SVM與樹(shù)模型之間的區(qū)別

（1）SVM

• SVM是通過(guò)核函數(shù)將樣本映射到高緯空間，再通過(guò)線性的SVM方式求解分界面進(jìn)行分類(lèi)。
• 對(duì)缺失值比較敏感
• 可以解決高緯度的問(wèn)題
• 可以避免局部極小值的問(wèn)題
• 可以解決小樣本機(jī)器學(xué)習(xí)的問(wèn)題　　

（2）樹(shù)模型

• 可以解決大樣本的問(wèn)題
• 易于理解和解釋
• 會(huì)陷入局部最優(yōu)解
• 易過(guò)擬合

 6、梯度消失和梯度膨脹

（1）梯度消失：

• 根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對(duì)上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都小于1的話，那么即使這個(gè)結(jié)果是0.99，在經(jīng)過(guò)足夠多層傳播之后，誤差對(duì)輸入層的偏導(dǎo)會(huì)趨于0

• 可以采用ReLU激活函數(shù)有效的解決梯度消失的情況

（2）梯度膨脹

• 根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對(duì)上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都大于1的話，在經(jīng)過(guò)足夠多層傳播之后，誤差對(duì)輸入層的偏導(dǎo)會(huì)趨于無(wú)窮大
• 可以通過(guò)激活函數(shù)來(lái)解決

 7、LR的原理和Loss的推導(dǎo)

最新評(píng)論