快捷導(dǎo)航

python如何利用joblib保存訓(xùn)練模型

更新時(shí)間：2023年06月13日 11:04:26 作者：幸運(yùn)的Alina

這篇文章主要介紹了python如何利用joblib保存訓(xùn)練模型問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

python用joblib保存訓(xùn)練模型

在機(jī)器學(xué)習(xí)中我們訓(xùn)練模型后，需要把模型保存到本地，這里我們采用joblib來保存

from sklearn.externals import joblib
#保存模型
def Save_Model(self, model, filepath):
? ? joblib.dump(model, filename=filepath)
def Decision_Tree_classifier(self,x_train,y_train,max_depth=None,min_samples_split=2,min_samples_leaf=1):
? ? Decision_Tree=tree.DecisionTreeClassifier(max_depth=max_depth,min_samples_split=min_samples_split,min_samples_leaf=min_samples_leaf)
? ? Decision_Tree.fit(x_train,y_train)
? ? self.save_model(Decision_Tree,os.path.join(c_config.UPLOAD_FOLODER,'model','Decision_Tree.m'))
? ? return Decision_Tree

然后再通過 joblib.load 把模型加載回來

def Load_Model(self, filepath):
? ? model = joblib.load(filepath)
? ? return model

將python訓(xùn)練好的模型保存下來（可使用or繼續(xù)訓(xùn)練）

Python提供了許多機(jī)器學(xué)習(xí)框架，例如Scikit-learn、TensorFlow和PyTorch。這些框架是使用Python編寫的，可以方便地訓(xùn)練模型。但是，模型訓(xùn)練是一項(xiàng)昂貴的任務(wù)，需要大量的計(jì)算資源和時(shí)間。一旦模型訓(xùn)練完成，將其保存以便以后使用是非常重要的。

解決辦法

保存Python訓(xùn)練好的模型有多種方法，下面介紹其中幾種。

方法一：使用pickle——通用

pickle是Python標(biāo)準(zhǔn)庫中的一個(gè)模塊，它可以將Python對象序列化為二進(jìn)制格式，以便于存儲(chǔ)和傳輸。可以使用pickle將訓(xùn)練好的模型保存到磁盤上，以備將來使用。

保存模型

import pickle
# train the model
model = ...
# save the model
with open('my_model.pkl', 'wb') as f:
? ? pickle.dump(model, f)

加載（使用）模型

import pickle
# load the saved model
with open('my_model.pkl', 'rb') as f:
? ? model = pickle.load(f)
# predict using the loaded model
model.predict(X)

加載模型繼續(xù)訓(xùn)練

import pickle
# load the saved model
with open('my_model.pkl', 'rb') as f:
? ? model = pickle.load(f)
# continue training the model
model.fit(X_train, y_train)
# save the updated model
with open('my_updated_model.pkl', 'wb') as f:
? ? pickle.dump(model, f)

方法二：使用joblib——大型模型

joblib是一個(gè)用于將Python對象序列化為磁盤文件的庫，專門用于大型數(shù)組。它可以高效地處理大型數(shù)據(jù)集和模型。對于大型機(jī)器學(xué)習(xí)模型，使用joblib可能比pickle更快。

保存模型

import joblib
# train the model
model = ...
# save the model
joblib.dump(model, 'my_model.joblib')

加載（使用）模型

import joblib
# load the saved model
model = joblib.load('my_model.joblib')
# predict using the loaded model
model.predict(X)

繼續(xù)訓(xùn)練

import joblib
# load the saved model
model = joblib.load('my_model.joblib')
# continue training the model
model.fit(X_train, y_train)
# save the updated model
joblib.dump(model, 'my_updated_model.joblib')

在這個(gè)例子中，我們使用joblib.load()函數(shù)加載之前保存的模型，并在新數(shù)據(jù)上繼續(xù)訓(xùn)練模型。最后，我們使用joblib.dump()函數(shù)將更新后的模型保存到文件中。

方法三：使用HDF5——大型模型（保存權(quán)重）

HDF5是一種用于存儲(chǔ)大型科學(xué)數(shù)據(jù)集的文件格式，常用于存儲(chǔ)深度學(xué)習(xí)模型的權(quán)重。

保存模型（權(quán)重）

# train the model
model = ...
# save the model weights to HDF5 file
model.save_weights('my_model_weights.h5')

使用模型

import tensorflow as tf
# define the model architecture
model = ...
# load the saved model weights
model.load_weights('my_model_weights.h5')
# predict using the loaded model weights
model.predict(X)

在這個(gè)例子中，我們首先定義了模型的架構(gòu)，然后使用model.load_weights()函數(shù)加載之前保存的模型權(quán)重，并在新數(shù)據(jù)上進(jìn)行預(yù)測。

使用模型權(quán)重繼續(xù)優(yōu)化模

import tensorflow as tf
# define the model architecture
model = ...
# load the saved model weights
model.load_weights('my_model_weights.h5')
# continue training the model
model.fit(X_train, y_train)
# save the updated model weights to HDF5 file
model.save_weights('my_updated_model_weights.h5')

需要注意的是，在使用保存的模型權(quán)重初始化新模型時(shí)，新模型的架構(gòu)應(yīng)該與原始模型相同。如果新模型的架構(gòu)不同，您需要重新定義模型，并使用保存的權(quán)重初始化它。

在這個(gè)例子中，我們首先定義了模型的架構(gòu)。

然后使用model.load_weights()函數(shù)加載之前保存的模型權(quán)重，并在新數(shù)據(jù)上繼續(xù)優(yōu)化模型。

最后，我們使用model.save_weights()函數(shù)將更新后的模型權(quán)重保存到HDF5文件中。

方法四：使用ONNX——不同平臺(tái)

ONNX是一種開放式的格式，可以用于表示機(jī)器學(xué)習(xí)模型。使用ONNX，您可以將模型從一個(gè)框架轉(zhuǎn)換為另一個(gè)框架，或者在不同平臺(tái)上使用模型。

保存模型

import onnx
# train the model
model = ...
# convert the model to ONNX format
onnx_model = onnx.convert(model)
# save the model
onnx.save_model(onnx_model, 'my_model.onnx')

加載（使用）模型

import onnxruntime
# load the saved model
onnx_session = onnxruntime.InferenceSession('my_model.onnx')
# predict using the loaded model
input_name = onnx_session.get_inputs()[0].name
output_name = onnx_session.get_outputs()[0].name
result = onnx_session.run([output_name], {input_name: X})

繼續(xù)訓(xùn)練

由于ONNX格式是為模型轉(zhuǎn)換而設(shè)計(jì)的，因此它不直接支持模型的進(jìn)一步訓(xùn)練。

但是，您可以使用ONNX格式將模型從一個(gè)框架轉(zhuǎn)換為另一個(gè)框架，并在新框架中繼續(xù)訓(xùn)練模型。

例如，您可以使用ONNX格式將PyTorch模型轉(zhuǎn)換為TensorFlow模型，并在TensorFlow中繼續(xù)訓(xùn)練模型。