欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Keras 實(shí)現(xiàn)加載預(yù)訓(xùn)練模型并凍結(jié)網(wǎng)絡(luò)的層

 更新時(shí)間:2020年06月15日 10:11:58   作者:IFT_jason  
這篇文章主要介紹了Keras 實(shí)現(xiàn)加載預(yù)訓(xùn)練模型并凍結(jié)網(wǎng)絡(luò)的層,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧

在解決一個任務(wù)時(shí),我會選擇加載預(yù)訓(xùn)練模型并逐步fine-tune。比如,分類任務(wù)中,優(yōu)異的深度學(xué)習(xí)網(wǎng)絡(luò)有很多。

ResNet, VGG, Xception等等... 并且這些模型參數(shù)已經(jīng)在imagenet數(shù)據(jù)集中訓(xùn)練的很好了,可以直接拿過來用。

根據(jù)自己的任務(wù),訓(xùn)練一下最后的分類層即可得到比較好的結(jié)果。此時(shí),就需要“凍結(jié)”預(yù)訓(xùn)練模型的所有層,即這些層的權(quán)重永不會更新。

以Xception為例:

加載預(yù)訓(xùn)練模型:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含頂層的3個全鏈接網(wǎng)絡(luò)

weights : 加載預(yù)訓(xùn)練權(quán)重

隨后,根據(jù)自己的分類任務(wù)加一層網(wǎng)絡(luò)即可。

網(wǎng)絡(luò)具體參數(shù):

model.summary

得到兩個網(wǎng)絡(luò)層,第一層是xception層,第二層為分類層。

由于未凍結(jié)任何層,trainable params為:20, 811, 050

凍結(jié)網(wǎng)絡(luò)層:

由于第一層為xception,不想更新xception層的參數(shù),可以加以下代碼:

model.layers[0].trainable = False

凍結(jié)預(yù)訓(xùn)練模型中的層

如果想凍結(jié)xception中的部分層,可以如下操作:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

加載所有預(yù)訓(xùn)練模型的層

若想把xeption的所有層應(yīng)用在訓(xùn)練自己的數(shù)據(jù),并改變分類數(shù)。可以如下操作:

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes,有兩個條件:include_top:True, weights:None。否則無法指定classes

補(bǔ)充知識:如何利用預(yù)訓(xùn)練模型進(jìn)行模型微調(diào)(如凍結(jié)某些層,不同層設(shè)置不同學(xué)習(xí)率等)

由于預(yù)訓(xùn)練模型權(quán)重和我們要訓(xùn)練的數(shù)據(jù)集存在一定的差異,且需要訓(xùn)練的數(shù)據(jù)集有大有小,所以進(jìn)行模型微調(diào)、設(shè)置不同學(xué)習(xí)率就變得比較重要,下面主要分四種情況進(jìn)行討論,錯誤之處或者不足之處還請大佬們指正。

(1)待訓(xùn)練數(shù)據(jù)集較小,與預(yù)訓(xùn)練模型數(shù)據(jù)集相似度較高時(shí)。例如待訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)存在于預(yù)訓(xùn)練模型中時(shí),不需要重新訓(xùn)練模型,只需要修改最后一層輸出層即可。

(2)待訓(xùn)練數(shù)據(jù)集較小,與預(yù)訓(xùn)練模型數(shù)據(jù)集相似度較小時(shí)??梢詢鼋Y(jié)模型的前k層,重新模型的后n-k層。凍結(jié)模型的前k層,用于彌補(bǔ)數(shù)據(jù)集較小的問題。

(3)待訓(xùn)練數(shù)據(jù)集較大,與預(yù)訓(xùn)練模型數(shù)據(jù)集相似度較大時(shí)。采用預(yù)訓(xùn)練模型會非常有效,保持模型結(jié)構(gòu)不變和初始權(quán)重不變,對模型重新訓(xùn)練

(4)待訓(xùn)練數(shù)據(jù)集較大,與預(yù)訓(xùn)練模型數(shù)據(jù)集相似度較小時(shí)。采用預(yù)訓(xùn)練模型不會有太大的效果,可以使用預(yù)訓(xùn)練模型或者不使用預(yù)訓(xùn)練模型,然后進(jìn)行重新訓(xùn)練。

以上這篇Keras 實(shí)現(xiàn)加載預(yù)訓(xùn)練模型并凍結(jié)網(wǎng)絡(luò)的層就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python人工智能自定義求導(dǎo)tf_diffs詳解

    python人工智能自定義求導(dǎo)tf_diffs詳解

    這篇文章主要為大家介紹了python人工智能自定義求導(dǎo)tf_diffs詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-07-07
  • python遞歸函數(shù)求n的階乘,優(yōu)缺點(diǎn)及遞歸次數(shù)設(shè)置方式

    python遞歸函數(shù)求n的階乘,優(yōu)缺點(diǎn)及遞歸次數(shù)設(shè)置方式

    這篇文章主要介紹了python遞歸函數(shù)求n的階乘,優(yōu)缺點(diǎn)及遞歸次數(shù)設(shè)置方式,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04
  • PyQt5 QLineEdit輸入的子網(wǎng)字符串校驗(yàn)QRegExp實(shí)現(xiàn)

    PyQt5 QLineEdit輸入的子網(wǎng)字符串校驗(yàn)QRegExp實(shí)現(xiàn)

    這篇文章主要介紹了PyQt5 QLineEdit輸入的子網(wǎng)字符串校驗(yàn)QRegExp實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • 查看Python依賴包及其版本號信息的方法

    查看Python依賴包及其版本號信息的方法

    今天小編就為大家分享一篇查看Python依賴包及其版本號信息的方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • Python中pygame安裝方法圖文詳解

    Python中pygame安裝方法圖文詳解

    這篇文章主要介紹了Python中pygame安裝方法,結(jié)合圖文說明,較為詳細(xì)的分析總結(jié)了Python中pygame的下載及安裝調(diào)試詳細(xì)步驟,需要的朋友可以參考下
    2015-11-11
  • PyCharm2020.3.2安裝超詳細(xì)教程

    PyCharm2020.3.2安裝超詳細(xì)教程

    這篇文章主要介紹了PyCharm2020.3.2安裝,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-02-02
  • 詳解python metaclass(元類)

    詳解python metaclass(元類)

    這篇文章主要介紹了python metaclass(元類)的相關(guān)資料,幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下
    2020-08-08
  • Python合并兩個字典的常用方法與效率比較

    Python合并兩個字典的常用方法與效率比較

    這篇文章主要介紹了Python合并兩個字典的常用方法與效率比較,實(shí)例分析并對比了Python合并字典的常用方法,需要的朋友可以參考下
    2015-06-06
  • 一篇文章看懂python如何執(zhí)行cmd命令

    一篇文章看懂python如何執(zhí)行cmd命令

    這篇文章主要給大家介紹了關(guān)于如何通過一篇文章看懂python如何執(zhí)行cmd命令的相關(guān)資料,在Python中可以使用多種方法執(zhí)行cmd命令,文中通過代碼示例將每種方法都介紹的非常詳細(xì),需要的朋友可以參考下
    2023-09-09
  • 基于python實(shí)現(xiàn)微信收紅包自動化測試腳本(測試用例)

    基于python實(shí)現(xiàn)微信收紅包自動化測試腳本(測試用例)

    這篇文章主要介紹了基于python實(shí)現(xiàn)微信收紅包自動化測試腳本,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
    2021-07-07

最新評論