python模型集成知識點總結(jié)

更新時間：2021年08月15日 11:00:58 作者：小妮淺淺

在本篇文章里小編給大家整理了一篇關(guān)于python模型集成知識點總結(jié)，有需要的朋友們可以學習參考下。

說明

1、模型集成是指將一系列不同模型的預測結(jié)果集成在一起，從而獲得更好的預測結(jié)果。

2、對于模型集成來說，模型的多樣性非常重要。Diversityisstrength.用于集成的模型應盡可能好，同時應盡可能不同。

同一的網(wǎng)絡，使用不同的隨機初始化，多次獨立訓練，然后集成，意義不大。更好的方法是使用結(jié)構(gòu)非常不同的模型進行集成，這樣每個模型的偏差就會在不同的方向上相互抵消，結(jié)果就會更加穩(wěn)定準確。

實例

可以用多種不同的方法來集成它們，最簡單的辦法是，取平均：

final_preds = 0.25 * (preds_a + preds_b + preds_c + preds_d)

由于每一個模型的性能會有差距，所以更好的辦法是加權(quán)平均：

final_preds = 0.5 * preds_a + 0.25 * preds_b + 0.1 * preds_c + 0.15 * preds_d

知識點擴充：

當我們想在數(shù)據(jù)集上構(gòu)建許多個模型，便可考慮使用集成的方法：

1. 掛袋法：并行進行，掛袋法集成中的每一個模型只使用訓練集的一部分，它們的思路是減少對數(shù)據(jù)產(chǎn)生過度擬合，但前提是每個模型的差別不能太大，掛袋法對如線性回歸之類的線性預測器無效。對于一些很穩(wěn)定的模型，掛袋法的效果不明顯，它適合那些對很小的改變也十分敏感的分類器，例如決策樹，它很不穩(wěn)定，未剪枝決策樹就十分適合掛袋法。而KNN分類器則是一種很穩(wěn)定的模型，不過我們可以使用隨機子空間方法，為最近鄰方法引入不穩(wěn)定性。

2. 賦權(quán)重提升法：順序進行，產(chǎn)生一個逐步復雜的模型序列，它按順序基于前一個模型的錯誤訓練新的模型，每次訓練得到的模型被賦予一個權(quán)重，這個權(quán)重依據(jù)模型再給定數(shù)據(jù)的效果而定。最終的預測值產(chǎn)生時，這些權(quán)重值就是每個特定模型對于最終輸出結(jié)果的影響力的判據(jù)。整體來說就是把錯誤率低的分類器賦予更大的權(quán)重。

3. 梯度提升法：由于賦權(quán)提升法使根據(jù)賦予錯誤實例更大的權(quán)重，然后是的下一個模型更可能選中這些錯誤分類的實例再次訓練，而這也存在不足之處，這里梯度提升法采用梯度而不是權(quán)重來鑒別缺陷，基于調(diào)整殘差（真實值y與預測值y'）來完善上一個模型的缺陷。

到此這篇關(guān)于python模型集成知識點總結(jié)的文章就介紹到這了,更多相關(guān)python模型集成是什么內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: