在解決一個任務時，我會選擇加載預訓練模型并逐步fine-tune。比如，分類任務中，優(yōu)異的深度學習網絡有很多。

ResNet, VGG, Xception等等... 并且這些模型參數已經在imagenet數據集中訓練的很好了，可以直接拿過來用。

根據自己的任務，訓練一下最后的分類層即可得到比較好的結果。此時，就需要“凍結”預訓練模型的所有層，即這些層的權重永不會更新。

以Xception為例：

加載預訓練模型：

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含頂層的3個全鏈接網絡

weights : 加載預訓練權重

隨后，根據自己的分類任務加一層網絡即可。

網絡具體參數：

model.summary

得到兩個網絡層，第一層是xception層，第二層為分類層。

由于未凍結任何層，trainable params為：20, 811, 050

凍結網絡層：

由于第一層為xception，不想更新xception層的參數，可以加以下代碼：

model.layers[0].trainable = False

凍結預訓練模型中的層

如果想凍結xception中的部分層，可以如下操作：

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

加載所有預訓練模型的層

若想把xeption的所有層應用在訓練自己的數據，并改變分類數?？梢匀缦虏僮鳎?/p>

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes，有兩個條件：include_top：True， weights：None。否則無法指定classes

補充知識：如何利用預訓練模型進行模型微調（如凍結某些層，不同層設置不同學習率等）

由于預訓練模型權重和我們要訓練的數據集存在一定的差異，且需要訓練的數據集有大有小，所以進行模型微調、設置不同學習率就變得比較重要，下面主要分四種情況進行討論，錯誤之處或者不足之處還請大佬們指正。

（1）待訓練數據集較小，與預訓練模型數據集相似度較高時。例如待訓練數據集中數據存在于預訓練模型中時，不需要重新訓練模型，只需要修改最后一層輸出層即可。

（2）待訓練數據集較小，與預訓練模型數據集相似度較小時?？梢詢鼋Y模型的前k層，重新模型的后n-k層。凍結模型的前k層，用于彌補數據集較小的問題。

（3）待訓練數據集較大，與預訓練模型數據集相似度較大時。采用預訓練模型會非常有效，保持模型結構不變和初始權重不變，對模型重新訓練

（4）待訓練數據集較大，與預訓練模型數據集相似度較小時。采用預訓練模型不會有太大的效果，可以使用預訓練模型或者不使用預訓練模型，然后進行重新訓練。

以上這篇Keras 實現加載預訓練模型并凍結網絡的層就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論