1、L1范式和L2方式的區(qū)別

（1）L1范式是對應(yīng)參數(shù)向量絕對值之和

（2）L1范式具有稀疏性

（3）L1范式可以用來作為特征選擇，并且可解釋性較強(qiáng)（這里的原理是在實(shí)際Loss function中都需要求最小值，根據(jù)L1的定義可知L1最小值只有0，故可以通過這種方式來進(jìn)行特征選擇）

（4）L2范式是對應(yīng)參數(shù)向量的平方和，再求平方根

（5）L2范式是為了防止機(jī)器學(xué)習(xí)的過擬合，提升模型的泛化能力

2、優(yōu)化算法及其優(yōu)缺點(diǎn)

溫馨提示：在回答面試官的問題的時(shí)候，往往將問題往大的方面去回答，這樣不會陷于小的技術(shù)上死磕，最后很容易把自己嗑死了。

（1）隨即梯度下降

　   優(yōu)點(diǎn)：可以一定程度上解決局部最優(yōu)解的問題

　　缺點(diǎn)：收斂速度較慢

（2）批量梯度下降

　　優(yōu)點(diǎn)：容易陷入局部最優(yōu)解

　　缺點(diǎn)：收斂速度較快

（3）mini_batch梯度下降

　　綜合隨即梯度下降和批量梯度下降的優(yōu)缺點(diǎn)，提取的一個(gè)中和的方法。

（4）牛頓法

　　牛頓法在迭代的時(shí)候，需要計(jì)算Hessian矩陣，當(dāng)維度較高的時(shí)候，計(jì)算Hessian矩陣比較困難。

（5）擬牛頓法

　　擬牛頓法是為了改進(jìn)牛頓法在迭代過程中，計(jì)算Hessian矩陣而提取的算法，它采用的方式是通過逼近Hessian的方式來進(jìn)行求解。

（6）共軛梯度

（7）啟發(fā)式的優(yōu)化算法

　　啟發(fā)式的優(yōu)化算法有遺傳算法，粒子群算法等。這類算法的主要思想就是設(shè)定一個(gè)目標(biāo)函數(shù)，每次迭代根據(jù)相應(yīng)的策略優(yōu)化種群。直到滿足什么樣的條件為止。

3、RF與GBDT之間的區(qū)別

（1）相同點(diǎn)

• 都是由多棵樹組成
• 最終的結(jié)果都是由多棵樹一起決定

（2）不同點(diǎn)

• 組成隨機(jī)森林的樹可以分類樹也可以是回歸樹，而GBDT只由回歸樹組成
• 組成隨機(jī)森林的樹可以并行生成，而GBDT是串行生成
• 隨機(jī)森林的結(jié)果是多數(shù)表決表決的，而GBDT則是多棵樹累加之和
• 隨機(jī)森林對異常值不敏感，而GBDT對異常值比較敏感
• 隨機(jī)森林是通過減少模型的方差來提高性能，而GBDT是減少模型的偏差來提高性能的
• 隨機(jī)森林不需要進(jìn)行數(shù)據(jù)預(yù)處理，即特征歸一化。而GBDT則需要進(jìn)行特征歸一化

（3）RF：

　　優(yōu)點(diǎn)：

• 易于理解，易于可視化
• 不需要太多的數(shù)據(jù)預(yù)處理，即數(shù)據(jù)歸一化
• 不易過擬合
• 易于并行化

　　缺點(diǎn)：　　

• 不適合小樣本數(shù)據(jù)，只適合大樣本數(shù)據(jù)
• 大多數(shù)情況下，RF的精度低于GBDT
• 適合決策邊界的是矩陣，不適合對角線型

（4）GBDT

　　優(yōu)點(diǎn)：

• 精度高

　　缺點(diǎn)：

• 參數(shù)較多，容易過擬合
• 不易并行化

4、SVM的模型的推導(dǎo)

5、SVM與樹模型之間的區(qū)別

（1）SVM

• SVM是通過核函數(shù)將樣本映射到高緯空間，再通過線性的SVM方式求解分界面進(jìn)行分類。
• 對缺失值比較敏感
• 可以解決高緯度的問題
• 可以避免局部極小值的問題
• 可以解決小樣本機(jī)器學(xué)習(xí)的問題　　

（2）樹模型

• 可以解決大樣本的問題
• 易于理解和解釋
• 會陷入局部最優(yōu)解
• 易過擬合

 6、梯度消失和梯度膨脹

（1）梯度消失：

• 根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都小于1的話，那么即使這個(gè)結(jié)果是0.99，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導(dǎo)會趨于0

• 可以采用ReLU激活函數(shù)有效的解決梯度消失的情況

（2）梯度膨脹

• 根據(jù)鏈?zhǔn)椒▌t，如果每一層神經(jīng)元對上一層的輸出的偏導(dǎo)乘上權(quán)重結(jié)果都大于1的話，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導(dǎo)會趨于無窮大
• 可以通過激活函數(shù)來解決

 7、LR的原理和Loss的推導(dǎo)

最新評論