前言

超參調(diào)優(yōu)是“模型調(diào)優(yōu)”（Model Tuning)階段最主要的工作，是直接影響模型最終效果的關(guān)鍵步驟，然而，超參調(diào)優(yōu)本身卻是一項(xiàng)非常低級(jí)且枯燥的工作，因?yàn)樗牟呗跃褪牵翰粩嘧儞Q參數(shù)值，一輪一輪地去“試”，直到找出結(jié)果最好的一組參數(shù)。顯然，這個(gè)過程是可以通過編程封裝成自動(dòng)化的工作，而不是靠蠻力手動(dòng)去一遍一遍的測試。為此，Sklearn提供了多種（自動(dòng)化）超參調(diào)優(yōu)方法（官方文檔），其中網(wǎng)格搜索（Grid Search）和隨機(jī)搜索（Randomized Search）是最基礎(chǔ)也是最常用的兩個(gè)：

對(duì)應(yīng)類/函數(shù)的后綴CV是Cross-Validation的意思，因?yàn)樗鼈兠繃L試一種超參組合時(shí)，都會(huì)使用Cross-Validation進(jìn)行效果評(píng)估，所以調(diào)用它們時(shí)也都需要顯式指定cv參數(shù)，即：驗(yàn)證的輪次（K-Fold的份數(shù)）。

網(wǎng)格搜索（Grid Search）

網(wǎng)格搜索（Grid Search）的邏輯其實(shí)非常簡單，就是由開發(fā)者針對(duì)每個(gè)超參設(shè)定多個(gè)值去嘗試，找出效果最好的那個(gè)，由于超參會(huì)有很多個(gè)，而每一個(gè)超參又有多個(gè)嘗試值，所以就變成了一個(gè)“排列組合”問題。例如我們想針對(duì)兩個(gè)超參進(jìn)行調(diào)優(yōu)，第一個(gè)超參設(shè)置了2個(gè)嘗試值，第二個(gè)超參設(shè)置了3個(gè)嘗試值，則超參設(shè)置總共會(huì)有 2 × 3 = 6 種組合，理論上模型要被訓(xùn)練6次，如果再加上交叉驗(yàn)證的輪次參數(shù)cv，假設(shè)cv=3，則總得的訓(xùn)練次數(shù)將變?yōu)椋? × 3 = 18 次。以下是《Hands-On ML, 2nd Edition》一書中提供的GridSearchCV示例代碼：

from sklearn.model_selection import GridSearchCV
param_grid = [
    {'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
    {'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
]
forest_reg = RandomForestRegressor()
grid_search = GridSearchCV(forest_reg, param_grid, cv=5,
                           scoring='neg_mean_squared_error',
                           return_train_score=True)
grid_search.fit(housing_prepared, housing_labels)

在這份示例代碼中，作者提供針對(duì)bootstrap、n_estimators和max_features三個(gè)超參，給出了兩套參數(shù)設(shè)定：

第一套：{'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]} 總計(jì)：3 × 4 = 12 種組合

第二套：{'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]} 總計(jì)：1 × 2 × 3 = 6 種組合

合在一起一共：12 + 6 = 18 種組合，加上交叉驗(yàn)證設(shè)定cv=5，所以最終將訓(xùn)練 18 × 5 = 90 次！這里我們可以看到param_grid是一個(gè)list，里面每一個(gè)元素是一個(gè)dict，一個(gè)dict就代表了一套參數(shù)設(shè)定，每套參數(shù)設(shè)定根據(jù)賦值情況又會(huì)產(chǎn)生多種參數(shù)組合。其實(shí)上面兩套組合也可以用下面的一套設(shè)定覆蓋：

param_grid = [
    {'bootstrap': [True, False], 'n_estimators': [3, 10, 30], 'max_features': [2, 3, 4, 6, 8]}
]

但在此情況下，總的訓(xùn)練次數(shù)將會(huì)變?yōu)椋?2 × 3 × 5) × 5 = 150 次。由此可見，Sklearn這種允許設(shè)定多套參數(shù)的設(shè)計(jì)（即一個(gè)list下可配置多個(gè)dict）還是有可取之處，會(huì)方便開發(fā)人員更具經(jīng)驗(yàn)設(shè)定最有希望的取值集合，減少訓(xùn)練次數(shù)。

隨機(jī)搜索（Randomized Search）

網(wǎng)格搜索適用于參數(shù)組合數(shù)比較少的情況，當(dāng)參數(shù)組合大到一定程度后，模型訓(xùn)練所占用的資源和持續(xù)時(shí)間將會(huì)超用戶的可接受范圍，此時(shí)往往就要改用隨機(jī)搜索（Randomized Search）了。隨機(jī)搜索的工作原理和網(wǎng)格搜索其實(shí)差不多，都是“暴力嘗試”，不同之處在于：網(wǎng)格搜索的參數(shù)取值集合是用戶設(shè)定的，而隨機(jī)搜索的參數(shù)取值則是指定好區(qū)間（最大值和最小值）由隨機(jī)數(shù)發(fā)生器隨機(jī)生成的，而想要生成多少種組合是可以設(shè)置的。以下是《Hands-On ML, 2nd Edition》一書中提供的RandomizedSearchCV示例代碼：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint
param_distribs = {
        'n_estimators': randint(low=1, high=200),
        'max_features': randint(low=1, high=8),
    }
forest_reg = RandomForestRegressor(random_state=42)
rnd_search = RandomizedSearchCV(forest_reg, param_distributions=param_distribs,
                                n_iter=10, cv=5, scoring='neg_mean_squared_error', random_state=42)
rnd_search.fit(housing_prepared, housing_labels)

在這份代碼中，作者針對(duì)n_estimators和max_features兩個(gè)超參分別設(shè)定了 1 ~ 200 和 1 ~ 8 的取值區(qū)間，然后通過設(shè)定參數(shù)n_iter=10將參數(shù)組合數(shù)設(shè)定為10，當(dāng)然，疊加上交叉驗(yàn)證cv=5后，實(shí)際的訓(xùn)練就是 5 × 10 = 50 次了。

到此這篇關(guān)于Sklearn調(diào)優(yōu)之網(wǎng)格搜索與隨機(jī)搜索原理詳細(xì)分析的文章就介紹到這了,更多相關(guān)Sklearn網(wǎng)格搜索與隨機(jī)搜索內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論