基于pytorch中的Sequential用法說(shuō)明
class torch.nn.Sequential(* args)
一個(gè)時(shí)序容器。Modules 會(huì)以他們傳入的順序被添加到容器中。當(dāng)然，也可以傳入一個(gè)OrderedDict。
為了更容易的理解如何使用Sequential, 下面給出了一個(gè)例子：
# Example of using Sequential
model = nn.Sequential(
nn.Conv2d(1,20,5),
nn.ReLU(),
nn.Conv2d(20,64,5),
nn.ReLU()
)
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
('conv1', nn.Conv2d(1,20,5)),
('relu1', nn.ReLU()),
('conv2', nn.Conv2d(20,64,5)),
('relu2', nn.ReLU())
]))
補(bǔ)充知識(shí)：pytorch 中 torch.optim.Adam 方法的使用和參數(shù)的解釋
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]
實(shí)現(xiàn)Adam算法。
它在Adam: A Method for Stochastic Optimization中被提出。
參數(shù)：
params (iterable) – 待優(yōu)化參數(shù)的iterable或者是定義了參數(shù)組的dict
lr (float, 可選) – 學(xué)習(xí)率（默認(rèn)：1e-3）
betas (Tuple[float, float], 可選) – 用于計(jì)算梯度以及梯度平方的運(yùn)行平均值的系數(shù)（默認(rèn)：0.9，0.999）
eps (float, 可選) – 為了增加數(shù)值計(jì)算的穩(wěn)定性而加到分母里的項(xiàng)（默認(rèn)：1e-8）
weight_decay (float, 可選) – 權(quán)重衰減（L2懲罰）（默認(rèn): 0）
個(gè)人理解：
lr：同樣也稱(chēng)為學(xué)習(xí)率或步長(zhǎng)因子，它控制了權(quán)重的更新比率（如 0.001）。較大的值（如 0.3）在學(xué)習(xí)率更新前會(huì)有更快的初始學(xué)習(xí)，而較小的值（如 1.0E-5）會(huì)令訓(xùn)練收斂到更好的性能。
betas = （beta1，beta2）
beta1：一階矩估計(jì)的指數(shù)衰減率（如 0.9）。
beta2：二階矩估計(jì)的指數(shù)衰減率（如 0.999）。該超參數(shù)在稀疏梯度（如在 NLP 或計(jì)算機(jī)視覺(jué)任務(wù)中）中應(yīng)該設(shè)置為接近 1 的數(shù)。
eps：epsilon：該參數(shù)是非常小的數(shù)，其為了防止在實(shí)現(xiàn)中除以零（如 10E-8）。
讀者可結(jié)合官方文檔中的參數(shù)說(shuō)明和我的個(gè)人理解掌握該函數(shù)的用法。
以上這篇基于pytorch中的Sequential用法說(shuō)明就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例
今天小編就為大家分享一篇python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
python使用正則表達(dá)式檢測(cè)密碼強(qiáng)度源碼分享
客戶(hù)系統(tǒng)升級(jí)，要求用戶(hù)密碼符合一定的規(guī)則，即：包含大小寫(xiě)字母、數(shù)字、符號(hào)，長(zhǎng)度不小于8,于是先用python寫(xiě)了個(gè)簡(jiǎn)單的測(cè)試程序：2014-06-06
這篇文章主要介紹了Flask使用類(lèi)組織配置，在實(shí)際的項(xiàng)目中，我們一般都會(huì)建立三個(gè)環(huán)境：開(kāi)發(fā)、測(cè)試和生產(chǎn)環(huán)境，這三種環(huán)境會(huì)使用不同的配置組合，為了能方便地切換配置，我們可以為不同的環(huán)境創(chuàng)建不同的配置文件，下面來(lái)看詳細(xì)內(nèi)容,需要的朋友可以參考一下2021-11-11
這篇文章主要介紹了keras中的卷積層&池化層的用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
12個(gè)Python程序員面試必備問(wèn)題與答案(小結(jié))
這篇文章主要介紹了12個(gè)Python程序員面試必備問(wèn)題與答案，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
基于python實(shí)現(xiàn)數(shù)組格式參數(shù)加密計(jì)算
這篇文章主要介紹了基于python實(shí)現(xiàn)數(shù)組格式參數(shù)加密計(jì)算,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
python matplotlib模塊基本圖形繪制方法小結(jié)【直線，曲線，直方圖，餅圖等】
這篇文章主要介紹了python matplotlib模塊基本圖形繪制方法,結(jié)合實(shí)例形式總結(jié)分析了Python使用matplotlib模塊繪制直線，曲線，直方圖，餅圖等圖形的相關(guān)操作技巧,需要的朋友可以參考下2020-04-04
本文主要介紹了Python中常見(jiàn)異常，什么是異常，回溯信息，簡(jiǎn)單的異常處理格式，異常嵌套以及異常處理注意事項(xiàng)與建議，有需要的朋友可以借鑒參考下2021-09-09
Python 使用 PyMysql、DBUtils 創(chuàng)建連接池提升性能
DBUtils 是一套 Python 數(shù)據(jù)庫(kù)連接池包，并允許對(duì)非線程安全的數(shù)據(jù)庫(kù)接口進(jìn)行線程安全包裝。這篇文章主要介紹了Python 使用 PyMysql、DBUtils 創(chuàng)建連接池，提升性能,需要的朋友可以參考下2019-08-08
Python中time庫(kù)的使用(日期時(shí)間)
time庫(kù)是python中處理時(shí)間的標(biāo)準(zhǔn)庫(kù),這篇文章主要介紹了Python中time庫(kù)的使用(日期時(shí)間),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-02-02