今天我們分享的主要目的就是通過在 Python 中使用命令行和配置文件來提高代碼的效率

Let's go!

我們以機器學習當中的調參過程來進行實踐，有三種方式可供選擇。第一個選項是使用 argparse，它是一個流行的 Python 模塊，專門用于命令行解析；另一種方法是讀取 JSON 文件，我們可以在其中放置所有超參數(shù)；第三種也是鮮為人知的方法是使用 YAML 文件！好奇嗎，讓我們開始吧！

先決條件

在下面的代碼中，我將使用 Visual Studio Code，這是一個非常高效的集成 Python 開發(fā)環(huán)境。這個工具的美妙之處在于它通過安裝擴展支持每種編程語言，集成終端并允許同時處理大量 Python 腳本和 Jupyter 筆記本

當然如果你還不知道怎么配置 VSCode，可以看這里

手把手將Visual Studio Code變成Python開發(fā)神器

數(shù)據(jù)集，使用的是 Kaggle 上的共享自行車數(shù)據(jù)集，可以在這里下載或者在文末獲取

使用 argparse

就像上圖所示，我們有一個標準的結構來組織我們的小項目：

• 包含我們數(shù)據(jù)集的名為 data 的文件夾
• train.py 文件
• 用于指定超參數(shù)的 options.py 文件

首先，我們可以創(chuàng)建一個文件 train.py，在其中我們有導入數(shù)據(jù)、在訓練數(shù)據(jù)上訓練模型并在測試集上對其進行評估的基本程序：

import?pandas?as?pd
import?numpy?as?np
from?sklearn.ensemble?import?RandomForestRegressor
from?sklearn.model_selection?import?train_test_split
from?sklearn.preprocessing?import?StandardScaler
from?sklearn.metrics?import?mean_squared_error,?mean_absolute_error

from?options?import?train_options

df?=?pd.read_csv('data\hour.csv')
print(df.head())
opt?=?train_options()

X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y?=df['cnt'].values
X_train,?X_test,?y_train,?y_test?=?train_test_split(X,?y,?test_size=0.2)

if?opt.normalize?==?True:
????scaler?=?StandardScaler()
????X?=?scaler.fit_transform(X)
????
rf?=?RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model?=?rf.fit(X_train,y_train)
y_pred?=?model.predict(X_test)
rmse?=?np.sqrt(mean_squared_error(y_pred,?y_test))
mae?=?mean_absolute_error(y_pred,?y_test)
print("rmse:?",rmse)
print("mae:?",mae)

在代碼中，我們還導入了包含在 options.py 文件中的 train_options 函數(shù)。后一個文件是一個 Python 文件，我們可以從中更改 train.py 中考慮的超參數(shù)：

import?argparse

def?train_options():
????parser?=?argparse.ArgumentParser()
????parser.add_argument("--normalize",?default=True,?type=bool,?help='maximum?depth')
????parser.add_argument("--n_estimators",?default=100,?type=int,?help='number?of?estimators')
????parser.add_argument("--max_features",?default=6,?type=int,?help='maximum?of?features',)
????parser.add_argument("--max_depth",?default=5,?type=int,help='maximum?depth')
????opt?=?parser.parse_args()
????return?opt

在這個例子中，我們使用了 argparse 庫，它在解析命令行參數(shù)時非常流行。首先，我們初始化解析器，然后，我們可以添加我們想要訪問的參數(shù)。

這是運行代碼的示例：

python?train.py

要更改超參數(shù)的默認值，有兩種方法。第一個選項是在 options.py 文件中設置不同的默認值。另一種選擇是從命令行傳遞超參數(shù)值：

python?train.py?--n_estimators?200

我們需要指定要更改的超參數(shù)的名稱和相應的值。

python?train.py?--n_estimators?200?--max_depth?7

使用 JSON 文件

和前面一樣，我們可以保持類似的文件結構。在這種情況下，我們將 options.py 文件替換為 JSON 文件。換句話說，我們想在 JSON 文件中指定超參數(shù)的值并將它們傳遞給 train.py 文件。與 argparse 庫相比，JSON 文件可以是一種快速且直觀的替代方案，它利用鍵值對來存儲數(shù)據(jù)。下面我們創(chuàng)建一個 options.json 文件，其中包含我們稍后需要傳遞給其他代碼的數(shù)據(jù)。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5?
}

如上所見，它與 Python 字典非常相似。但是與字典不同的是，它包含文本/字符串格式的數(shù)據(jù)。此外，還有一些語法略有不同的常見數(shù)據(jù)類型。例如，布爾值是 false/true，而 Python 識別 False/True。JSON 中其他可能的值是數(shù)組，它們用方括號表示為 Python 列表。

在 Python 中使用 JSON 數(shù)據(jù)的美妙之處在于，它可以通過 load 方法轉換成 Python 字典：

f?=?open("options.json",?"rb")
parameters?=?json.load(f)

要訪問特定項目，我們只需要在方括號內引用它的鍵名：

if?parameters["normalize"]?==?True:
????scaler?=?StandardScaler()
????X?=?scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model?=?rf.fit(X_train,y_train)
y_pred?=?model.predict(X_test)

使用 YAML 文件

最后一種選擇是利用 YAML 的潛力。與 JSON 文件一樣，我們將 Python 代碼中的 YAML 文件作為字典讀取，以訪問超參數(shù)的值。YAML 是一種人類可讀的數(shù)據(jù)表示語言，其中層次結構使用雙空格字符表示，而不是像 JSON 文件中的括號。下面我們展示 options.yaml 文件將包含的內容：

normalize:?True?
n_estimators:?100
max_features:?6
max_depth:?5

在 train.py 中，我們打開 options.yaml 文件，該文件將始終使用 load 方法轉換為 Python 字典，這一次是從 yaml 庫中導入的：

import?yaml
f?=?open('options.yaml','rb')
parameters?=?yaml.load(f,?Loader=yaml.FullLoader)

和前面一樣，我們可以使用字典所需的語法訪問超參數(shù)的值。

最后的想法

配置文件的編譯速度非?？?，而 argparse 則需要為我們要添加的每個參數(shù)編寫一行代碼。

所以我們應該根據(jù)自己的不同情況來選擇最為合適的方式

例如，如果我們需要為參數(shù)添加注釋，JSON 是不合適的，因為它不允許注釋，而 YAML 和 argparse 可能非常適合。

到此這篇關于Python實現(xiàn)解析參數(shù)的三種方法詳解的文章就介紹到這了,更多相關Python解析參數(shù)內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論