欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch如何保存訓(xùn)練模型參數(shù)并實(shí)現(xiàn)繼續(xù)訓(xùn)練

 更新時間：2023年09月11日 14:56:36   作者：回爐重造P  
這篇文章主要介紹了pytorch如何保存訓(xùn)練模型參數(shù)并實(shí)現(xiàn)繼續(xù)訓(xùn)練問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

最近的想法是在推薦模型中考慮根據(jù)用戶對推薦結(jié)果的后續(xù)選擇，利用已訓(xùn)練的offline預(yù)訓(xùn)練模型參數(shù)來更新新的結(jié)果。

簡單記錄一下中途保存參數(shù)和后續(xù)使用不同數(shù)據(jù)訓(xùn)練的方法。

簡單模型和訓(xùn)練數(shù)據(jù)

先準(zhǔn)備一個簡單模型，簡單兩層linear出個分類結(jié)果。

class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(64, 32)
        self.linear1 = nn.Linear(32, 10)
        self.relu = nn.ReLU()
    def forward(self, x):
        x = self.linear(x)
        x = self.relu(x)
        x = self.linear1(x)
        return x

準(zhǔn)備訓(xùn)練用數(shù)據(jù)，這里直接隨機(jī)兩份，同時給出配套的十個類的分類label結(jié)果。

要注意的是 crossEntropy 交叉熵只認(rèn) long 以上的tensor，label記得轉(zhuǎn)一下類型。

    rand1 = torch.rand((100, 64)).to(torch.float)
    label1 = np.random.randint(0, 10, size=100)
    label1 = torch.from_numpy(label1).to(torch.long)
    rand2 = torch.rand((100, 64)).to(torch.float)
    label2 = np.random.randint(0, 10, size=100)
    label2 = torch.from_numpy(label2).to(torch.long)

訓(xùn)練簡單使用交叉熵，優(yōu)化器Adam。

    model = MyModel()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    loss = nn.CrossEntropyLoss()
    iteration = 100
    for i in range(iteration):
        output = model(rand1)
        my_loss = loss(output, label1)
        optimizer.zero_grad()
        my_loss.backward()
        optimizer.step()
        print("iteration:{} loss:{}".format(i, my_loss))

反正能跑起來：

在這里插入圖片描述

保存與讀取訓(xùn)練參數(shù)結(jié)果的方法

關(guān)鍵的保存方法，可以分為兩種，一種是直接把模型整體保存：

torch.save(model, save_path)

兩個參數(shù)，模型和保存目錄。不過這種不常用，如果模型變化或者只需要其中一部分參數(shù)就不太靈活。

常用方法的是將需要的模型或優(yōu)化器參數(shù)取出以字典形式存儲，這樣可以在使用時初始化相關(guān)模型，讀入對應(yīng)參數(shù)即可。

def save_model(save_path, iteration, optimizer, model):
    torch.save({'iteration': iteration,
                'optimizer_dict': optimizer.state_dict(),
                'model_dict': model.state_dict()},
                save_path)
    print("model save success")

分別存儲訓(xùn)練循環(huán)次數(shù)，優(yōu)化器設(shè)置和模型參數(shù)結(jié)果。

初始化模型，讀取參數(shù)并設(shè)置：

def load_model(save_name, optimizer, model):
    model_data = torch.load(save_name)
    model.load_state_dict(model_data['model_dict'])
    optimizer.load_state_dict(model_data['optimizer_dict'])
    print("model load success")

初始化新模型：

    path = "net.dict"
    save_model(path, iteration, optimizer, model)
    print(model.state_dict()['linear.weight'])
    new_model = MyModel()
    new_optimizer = torch.optim.Adam(new_model.parameters(), lr=0.01)
    load_model(path, new_optimizer, new_model)
    print(new_model.state_dict()['linear.weight'])

輸出第一個linear層的參數(shù)看看，確實(shí)相同，參數(shù)成功讀取上了。注意optimizer的初始化對應(yīng)模型別寫錯了。

在這里插入圖片描述

之后用新模型繼續(xù)訓(xùn)練試試：

    for i in range(iteration):
        output = new_model(rand2)
        my_loss = loss(output, label2)
        new_optimizer.zero_grad()
        my_loss.backward()
        new_optimizer.step()
        print("iteration:{} loss:{}".format(i, my_loss))

能成功訓(xùn)練。

在這里插入圖片描述

變化學(xué)習(xí)率的保存

上面的demo只用了固定的學(xué)習(xí)率來做實(shí)驗(yàn)。

如果使用了 scheduler 來變化步長，只要保存 scheduler 的 state_dict ，之后對新初始化的 scheduler 設(shè)置對應(yīng)的當(dāng)前循環(huán)次數(shù)即可。

# 存儲時
'scheduler': scheduler.state_dict()
# 讀取時
scheduler.load_state_dict(checkpoint['lr_schedule'])

scheduler的使用可以看看我之前整理的文章：利用scheduler實(shí)現(xiàn)learning-rate學(xué)習(xí)率動態(tài)變化

總結(jié)

這次主要是整理了一下pytorch模型參數(shù)的整體保存方法，來實(shí)現(xiàn)新數(shù)據(jù)的后續(xù)訓(xùn)練或直接作為offline預(yù)訓(xùn)練模型來使用。

不過后續(xù)數(shù)據(jù)分布不同的話感覺效果會很差啊…

也不知道能不能用什么算法修改下權(quán)重來貼合新的數(shù)據(jù)，找點(diǎn)多次訓(xùn)練優(yōu)化論文看看好了。

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評論