基于pytorch中的Sequential用法說明
class torch.nn.Sequential(* args)
一個(gè)時(shí)序容器。Modules 會(huì)以他們傳入的順序被添加到容器中。當(dāng)然,也可以傳入一個(gè)OrderedDict。
為了更容易的理解如何使用Sequential, 下面給出了一個(gè)例子:
# Example of using Sequential model = nn.Sequential( nn.Conv2d(1,20,5), nn.ReLU(), nn.Conv2d(20,64,5), nn.ReLU() ) # Example of using Sequential with OrderedDict model = nn.Sequential(OrderedDict([ ('conv1', nn.Conv2d(1,20,5)), ('relu1', nn.ReLU()), ('conv2', nn.Conv2d(20,64,5)), ('relu2', nn.ReLU()) ]))
補(bǔ)充知識(shí):pytorch 中 torch.optim.Adam 方法的使用和參數(shù)的解釋
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]
實(shí)現(xiàn)Adam算法。
它在Adam: A Method for Stochastic Optimization中被提出。
參數(shù):
params (iterable) – 待優(yōu)化參數(shù)的iterable或者是定義了參數(shù)組的dict
lr (float, 可選) – 學(xué)習(xí)率(默認(rèn):1e-3)
betas (Tuple[float, float], 可選) – 用于計(jì)算梯度以及梯度平方的運(yùn)行平均值的系數(shù)(默認(rèn):0.9,0.999)
eps (float, 可選) – 為了增加數(shù)值計(jì)算的穩(wěn)定性而加到分母里的項(xiàng)(默認(rèn):1e-8)
weight_decay (float, 可選) – 權(quán)重衰減(L2懲罰)(默認(rèn): 0)
個(gè)人理解:
lr:同樣也稱為學(xué)習(xí)率或步長(zhǎng)因子,它控制了權(quán)重的更新比率(如 0.001)。較大的值(如 0.3)在學(xué)習(xí)率更新前會(huì)有更快的初始學(xué)習(xí),而較小的值(如 1.0E-5)會(huì)令訓(xùn)練收斂到更好的性能。
betas = (beta1,beta2)
beta1:一階矩估計(jì)的指數(shù)衰減率(如 0.9)。
beta2:二階矩估計(jì)的指數(shù)衰減率(如 0.999)。該超參數(shù)在稀疏梯度(如在 NLP 或計(jì)算機(jī)視覺任務(wù)中)中應(yīng)該設(shè)置為接近 1 的數(shù)。
eps:epsilon:該參數(shù)是非常小的數(shù),其為了防止在實(shí)現(xiàn)中除以零(如 10E-8)。
讀者可結(jié)合官方文檔中的參數(shù)說明和我的個(gè)人理解掌握該函數(shù)的用法。
以上這篇基于pytorch中的Sequential用法說明就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例
今天小編就為大家分享一篇python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-07-07python使用正則表達(dá)式檢測(cè)密碼強(qiáng)度源碼分享
客戶系統(tǒng)升級(jí),要求用戶密碼符合一定的規(guī)則,即:包含大小寫字母、數(shù)字、符號(hào),長(zhǎng)度不小于8,于是先用python寫了個(gè)簡(jiǎn)單的測(cè)試程序:2014-06-0612個(gè)Python程序員面試必備問題與答案(小結(jié))
這篇文章主要介紹了12個(gè)Python程序員面試必備問題與答案,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-06-06基于python實(shí)現(xiàn)數(shù)組格式參數(shù)加密計(jì)算
這篇文章主要介紹了基于python實(shí)現(xiàn)數(shù)組格式參數(shù)加密計(jì)算,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04python matplotlib模塊基本圖形繪制方法小結(jié)【直線,曲線,直方圖,餅圖等】
這篇文章主要介紹了python matplotlib模塊基本圖形繪制方法,結(jié)合實(shí)例形式總結(jié)分析了Python使用matplotlib模塊繪制直線,曲線,直方圖,餅圖等圖形的相關(guān)操作技巧,需要的朋友可以參考下2020-04-04Python 使用 PyMysql、DBUtils 創(chuàng)建連接池提升性能
DBUtils 是一套 Python 數(shù)據(jù)庫連接池包,并允許對(duì)非線程安全的數(shù)據(jù)庫接口進(jìn)行線程安全包裝。這篇文章主要介紹了Python 使用 PyMysql、DBUtils 創(chuàng)建連接池,提升性能,需要的朋友可以參考下2019-08-08