python模型集成知識(shí)點(diǎn)總結(jié)
說明
1、模型集成是指將一系列不同模型的預(yù)測(cè)結(jié)果集成在一起，從而獲得更好的預(yù)測(cè)結(jié)果。
2、對(duì)于模型集成來說，模型的多樣性非常重要。Diversityisstrength.用于集成的模型應(yīng)盡可能好，同時(shí)應(yīng)盡可能不同。
同一的網(wǎng)絡(luò)，使用不同的隨機(jī)初始化，多次獨(dú)立訓(xùn)練，然后集成，意義不大。更好的方法是使用結(jié)構(gòu)非常不同的模型進(jìn)行集成，這樣每個(gè)模型的偏差就會(huì)在不同的方向上相互抵消，結(jié)果就會(huì)更加穩(wěn)定準(zhǔn)確。
實(shí)例
可以用多種不同的方法來集成它們，最簡(jiǎn)單的辦法是，取平均：
final_preds = 0.25 * (preds_a + preds_b + preds_c + preds_d)
由于每一個(gè)模型的性能會(huì)有差距，所以更好的辦法是加權(quán)平均：
final_preds = 0.5 * preds_a + 0.25 * preds_b + 0.1 * preds_c + 0.15 * preds_d
知識(shí)點(diǎn)擴(kuò)充：
當(dāng)我們想在數(shù)據(jù)集上構(gòu)建許多個(gè)模型，便可考慮使用集成的方法：
1. 掛袋法：并行進(jìn)行，掛袋法集成中的每一個(gè)模型只使用訓(xùn)練集的一部分，它們的思路是減少對(duì)數(shù)據(jù)產(chǎn)生過度擬合，但前提是每個(gè)模型的差別不能太大，掛袋法對(duì)如線性回歸之類的線性預(yù)測(cè)器無效。對(duì)于一些很穩(wěn)定的模型，掛袋法的效果不明顯，它適合那些對(duì)很小的改變也十分敏感的分類器，例如決策樹，它很不穩(wěn)定，未剪枝決策樹就十分適合掛袋法。而KNN分類器則是一種很穩(wěn)定的模型，不過我們可以使用隨機(jī)子空間方法，為最近鄰方法引入不穩(wěn)定性。
2. 賦權(quán)重提升法：順序進(jìn)行，產(chǎn)生一個(gè)逐步復(fù)雜的模型序列，它按順序基于前一個(gè)模型的錯(cuò)誤訓(xùn)練新的模型，每次訓(xùn)練得到的模型被賦予一個(gè)權(quán)重，這個(gè)權(quán)重依據(jù)模型再給定數(shù)據(jù)的效果而定。最終的預(yù)測(cè)值產(chǎn)生時(shí)，這些權(quán)重值就是每個(gè)特定模型對(duì)于最終輸出結(jié)果的影響力的判據(jù)。整體來說就是把錯(cuò)誤率低的分類器賦予更大的權(quán)重。
3. 梯度提升法：由于賦權(quán)提升法使根據(jù)賦予錯(cuò)誤實(shí)例更大的權(quán)重，然后是的下一個(gè)模型更可能選中這些錯(cuò)誤分類的實(shí)例再次訓(xùn)練，而這也存在不足之處，這里梯度提升法采用梯度而不是權(quán)重來鑒別缺陷，基于調(diào)整殘差（真實(shí)值y與預(yù)測(cè)值y'）來完善上一個(gè)模型的缺陷。
到此這篇關(guān)于python模型集成知識(shí)點(diǎn)總結(jié)的文章就介紹到這了,更多相關(guān)python模型集成是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
opencv-python+yolov3實(shí)現(xiàn)目標(biāo)檢測(cè)
因?yàn)樽罱娜蝿?wù)有用到目標(biāo)檢測(cè)，快速地了解了目標(biāo)檢測(cè)這一任務(wù)，并且實(shí)現(xiàn)了使用opencv進(jìn)行目標(biāo)檢測(cè)。感興趣的可以了解一下2021-06-06
平常在處理數(shù)據(jù)的時(shí)候，必不可少地要使用數(shù)據(jù)庫(kù)存取數(shù)據(jù)，出于一些原因，個(gè)人非常喜歡MongoDB這個(gè)數(shù)據(jù)庫(kù)。下面這篇文章主要給大家介紹了Python3中使用PyMongo的方法示例，文中介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來一起看看吧。2017-07-07
Jmeter并發(fā)執(zhí)行Python 腳本的完整流程
這篇文章主要介紹了Jmeter并發(fā)執(zhí)行 Python 腳本的問題詳解,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
tensorflow 使用flags定義命令行參數(shù)的方法
本篇文章主要介紹了tensorflow 使用flags定義命令行參數(shù)的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了python 操作excel表格的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-12-12
Python爬蟲學(xué)習(xí)之requests的使用教程
requests庫(kù)是一個(gè)常用的用于?http?請(qǐng)求的模塊，它使用?python?語(yǔ)言編寫，可以方便的對(duì)網(wǎng)頁(yè)進(jìn)行爬取。本文將通過示例詳細(xì)講講requests庫(kù)的使用，需要的可以參考一下2022-08-08
這篇文章主要介紹了在Django框架中偽造捕捉到的URLconf值的方法,Django是Python各色人氣框架中最為著名的一個(gè),需要的朋友可以參考下2015-07-07
這篇文章主要介紹了詳解在Python程序中使用Cookie的教程,Cookie在無論哪種語(yǔ)言的網(wǎng)絡(luò)編程學(xué)習(xí)當(dāng)中都是重要的知識(shí)點(diǎn),需要的朋友可以參考下2015-04-04
Python Flask自定義URL路由參數(shù)過濾器的方法詳解
Flask是一個(gè)輕量級(jí)的Python Web應(yīng)用框架,它允許開發(fā)者以一種簡(jiǎn)潔明了的方式來構(gòu)建Web應(yīng)用,Flask自定義URL的主要功能在于使得開發(fā)者能夠通過簡(jiǎn)單的路由規(guī)則來自定義應(yīng)用程序的URL結(jié)構(gòu),本文給大家介紹了Python Flask自定義URL路由參數(shù)過濾器的方法,需要的朋友可以參考下2024-07-07
使用python?matplotlib畫折線圖實(shí)例代碼
Matplotlib是一個(gè)Python工具箱,用于科學(xué)計(jì)算的數(shù)據(jù)可視化,下面這篇文章主要給大家介紹了關(guān)于如何使用python?matplotlib畫折線圖的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04