PyTorch快速搭建神經(jīng)網(wǎng)絡(luò)及其保存提取方法詳解
有時(shí)候我們訓(xùn)練了一個(gè)模型, 希望保存它下次直接使用,不需要下次再花時(shí)間去訓(xùn)練 ,本節(jié)我們來(lái)講解一下PyTorch快速搭建神經(jīng)網(wǎng)絡(luò)及其保存提取方法詳解
一、PyTorch快速搭建神經(jīng)網(wǎng)絡(luò)方法
先看實(shí)驗(yàn)代碼:
import torch import torch.nn.functional as F # 方法1,通過(guò)定義一個(gè)Net類(lèi)來(lái)建立神經(jīng)網(wǎng)絡(luò) class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear(n_feature, n_hidden) self.predict = torch.nn.Linear(n_hidden, n_output) def forward(self, x): x = F.relu(self.hidden(x)) x = self.predict(x) return x net1 = Net(2, 10, 2) print('方法1:\n', net1) # 方法2 通過(guò)torch.nn.Sequential快速建立神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) net2 = torch.nn.Sequential( torch.nn.Linear(2, 10), torch.nn.ReLU(), torch.nn.Linear(10, 2), ) print('方法2:\n', net2) # 經(jīng)驗(yàn)證,兩種方法構(gòu)建的神經(jīng)網(wǎng)絡(luò)功能相同,結(jié)構(gòu)細(xì)節(jié)稍有不同 ''''' 方法1: Net ( (hidden): Linear (2 -> 10) (predict): Linear (10 -> 2) ) 方法2: Sequential ( (0): Linear (2 -> 10) (1): ReLU () (2): Linear (10 -> 2) ) '''
先前學(xué)習(xí)了通過(guò)定義一個(gè)Net類(lèi)來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)的方法,classNet中首先通過(guò)super函數(shù)繼承torch.nn.Module模塊的構(gòu)造方法,再通過(guò)添加屬性的方式搭建神經(jīng)網(wǎng)絡(luò)各層的結(jié)構(gòu)信息,在forward方法中完善神經(jīng)網(wǎng)絡(luò)各層之間的連接信息,然后再通過(guò)定義Net類(lèi)對(duì)象的方式完成對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建。
構(gòu)建神經(jīng)網(wǎng)絡(luò)的另一個(gè)方法,也可以說(shuō)是快速構(gòu)建方法,就是通過(guò)torch.nn.Sequential,直接完成對(duì)神經(jīng)網(wǎng)絡(luò)的建立。
兩種方法構(gòu)建得到的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)完全相同,都可以通過(guò)print函數(shù)來(lái)打印輸出網(wǎng)絡(luò)信息,不過(guò)打印結(jié)果會(huì)有些許不同。
二、PyTorch的神經(jīng)網(wǎng)絡(luò)保存和提取
在學(xué)習(xí)和研究深度學(xué)習(xí)的時(shí)候,當(dāng)我們通過(guò)一定時(shí)間的訓(xùn)練,得到了一個(gè)比較好的模型的時(shí)候,我們當(dāng)然希望將這個(gè)模型及模型參數(shù)保存下來(lái),以備后用,所以神經(jīng)網(wǎng)絡(luò)的保存和模型參數(shù)提取重載是很有必要的。
首先,我們需要在需要保存網(wǎng)路結(jié)構(gòu)及其模型參數(shù)的神經(jīng)網(wǎng)絡(luò)的定義、訓(xùn)練部分之后通過(guò)torch.save()實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)的保存。有兩種保存方式:一是保存年整個(gè)神經(jīng)網(wǎng)絡(luò)的的結(jié)構(gòu)信息和模型參數(shù)信息,save的對(duì)象是網(wǎng)絡(luò)net;二是只保存神經(jīng)網(wǎng)絡(luò)的訓(xùn)練模型參數(shù),save的對(duì)象是net.state_dict(),保存結(jié)果都以.pkl文件形式存儲(chǔ)。
對(duì)應(yīng)上面兩種保存方式,重載方式也有兩種。對(duì)應(yīng)第一種完整網(wǎng)絡(luò)結(jié)構(gòu)信息,重載的時(shí)候通過(guò)torch.load(‘.pkl')直接初始化新的神經(jīng)網(wǎng)絡(luò)對(duì)象即可。對(duì)應(yīng)第二種只保存模型參數(shù)信息,需要首先搭建相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)net.load_state_dict(torch.load('.pkl'))完成模型參數(shù)的重載。在網(wǎng)絡(luò)比較大的時(shí)候,第一種方法會(huì)花費(fèi)較多的時(shí)間。
代碼實(shí)現(xiàn):
import torch from torch.autograd import Variable import matplotlib.pyplot as plt torch.manual_seed(1) # 設(shè)定隨機(jī)數(shù)種子 # 創(chuàng)建數(shù)據(jù) x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) y = x.pow(2) + 0.2*torch.rand(x.size()) x, y = Variable(x, requires_grad=False), Variable(y, requires_grad=False) # 將待保存的神經(jīng)網(wǎng)絡(luò)定義在一個(gè)函數(shù)中 def save(): # 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) net1 = torch.nn.Sequential( torch.nn.Linear(1, 10), torch.nn.ReLU(), torch.nn.Linear(10, 1), ) optimizer = torch.optim.SGD(net1.parameters(), lr=0.5) loss_function = torch.nn.MSELoss() # 訓(xùn)練部分 for i in range(300): prediction = net1(x) loss = loss_function(prediction, y) optimizer.zero_grad() loss.backward() optimizer.step() # 繪圖部分 plt.figure(1, figsize=(10, 3)) plt.subplot(131) plt.title('net1') plt.scatter(x.data.numpy(), y.data.numpy()) plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5) # 保存神經(jīng)網(wǎng)絡(luò) torch.save(net1, '7-net.pkl') # 保存整個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和模型參數(shù) torch.save(net1.state_dict(), '7-net_params.pkl') # 只保存神經(jīng)網(wǎng)絡(luò)的模型參數(shù) # 載入整個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其模型參數(shù) def reload_net(): net2 = torch.load('7-net.pkl') prediction = net2(x) plt.subplot(132) plt.title('net2') plt.scatter(x.data.numpy(), y.data.numpy()) plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5) # 只載入神經(jīng)網(wǎng)絡(luò)的模型參數(shù),神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)需要與保存的神經(jīng)網(wǎng)絡(luò)相同的結(jié)構(gòu) def reload_params(): # 首先搭建相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) net3 = torch.nn.Sequential( torch.nn.Linear(1, 10), torch.nn.ReLU(), torch.nn.Linear(10, 1), ) # 載入神經(jīng)網(wǎng)絡(luò)的模型參數(shù) net3.load_state_dict(torch.load('7-net_params.pkl')) prediction = net3(x) plt.subplot(133) plt.title('net3') plt.scatter(x.data.numpy(), y.data.numpy()) plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5) # 運(yùn)行測(cè)試 save() reload_net() reload_params()
實(shí)驗(yàn)結(jié)果:
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python + Requests + Unittest接口自動(dòng)化測(cè)試實(shí)例分析
這篇文章主要介紹了Python + Requests + Unittest接口自動(dòng)化測(cè)試,結(jié)合具體實(shí)例形式分析了Python使用Requests與Unittest模塊實(shí)現(xiàn)接口自動(dòng)化測(cè)試相關(guān)操作技巧,需要的朋友可以參考下2019-12-12Python lambda表達(dá)式用法實(shí)例分析
這篇文章主要介紹了Python lambda表達(dá)式用法,結(jié)合實(shí)例形式分析了lambda表達(dá)式的具體功能、應(yīng)用場(chǎng)景及相關(guān)使用技巧,需要的朋友可以參考下2018-12-12python?tornado協(xié)程調(diào)度原理示例解析
這篇文章主要為大家介紹了python?tornado協(xié)程調(diào)度原理示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09解決jupyter notebook圖片顯示模糊和保存清晰圖片的操作
這篇文章主要介紹了解決jupyter notebook圖片顯示模糊和保存清晰圖片的操作方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-04-04Linux上安裝Python的PIL和Pillow庫(kù)處理圖片的實(shí)例教程
這里我們來(lái)看一下在Linux上安裝Python的PIL和Pillow庫(kù)處理圖片的實(shí)例教程,包括一個(gè)使用Pillow庫(kù)實(shí)現(xiàn)批量轉(zhuǎn)換圖片的例子:2016-06-06Python 獲取ftp服務(wù)器文件時(shí)間的方法
今天小編就為大家分享一篇Python 獲取ftp服務(wù)器文件時(shí)間的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07Python 實(shí)例進(jìn)階之預(yù)測(cè)房?jī)r(jià)走勢(shì)
買(mǎi)房應(yīng)該是大多數(shù)都會(huì)要面臨的一個(gè)選擇,當(dāng)前經(jīng)濟(jì)和政策背景下,未來(lái)房?jī)r(jià)會(huì)漲還是跌?這是很多人都關(guān)心的一個(gè)話題。今天分享的這篇文章,以波士頓的房地產(chǎn)市場(chǎng)為例,根據(jù)低收入人群比例、老師學(xué)生數(shù)量等特征,利用 Python 進(jìn)行了預(yù)測(cè),給大家做一個(gè)參考2021-11-11使用matplotlib繪制圖例標(biāo)簽中帶有公式的圖
今天小編就為大家分享一篇使用matplotlib繪制圖例標(biāo)簽中帶有公式的圖,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12