之前的筆記里實現(xiàn)了softmax回歸分類、簡單的含有一個隱層的神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等等，但是這些代碼在訓(xùn)練完成之后就直接退出了，并沒有將訓(xùn)練得到的模型保存下來方便下次直接使用。為了讓訓(xùn)練結(jié)果可以復(fù)用，需要將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型持久化，這就是這篇筆記里要寫的東西。

TensorFlow提供了一個非常簡單的API，即tf.train.Saver類來保存和還原一個神經(jīng)網(wǎng)絡(luò)模型。

下面代碼給出了保存TensorFlow模型的方法：

import tensorflow as tf

# 聲明兩個變量
v1 = tf.Variable(tf.random_normal([1, 2]), name="v1")
v2 = tf.Variable(tf.random_normal([2, 3]), name="v2")
init_op = tf.global_variables_initializer() # 初始化全部變量
saver = tf.train.Saver(write_version=tf.train.SaverDef.V1) # 聲明tf.train.Saver類用于保存模型
with tf.Session() as sess:
    sess.run(init_op)
    print("v1:", sess.run(v1)) # 打印v1、v2的值一會讀取之后對比
    print("v2:", sess.run(v2))
    saver_path = saver.save(sess, "save/model.ckpt")  # 將模型保存到save/model.ckpt文件
    print("Model saved in file:", saver_path)

注：Saver方法已經(jīng)發(fā)生了更改，現(xiàn)在是V2版本，tf.train.Saver(write_version=tf.train.SaverDef.V1)括號里加入該參數(shù)可繼續(xù)使用V1，但會報warning，可忽略。若使用saver = tf.train.Saver()則默認(rèn)使用當(dāng)前的版本（V2），保存后在save這個文件夾中會出現(xiàn)4個文件，比V1版多出model.ckpt.data-00000-of-00001這個文件，這點感謝評論里那位朋友指出。至于這個文件的含義到目前我仍不是很清楚，也沒查到具體資料，TensorFlow15年底開源到現(xiàn)在很多類啊函數(shù)都一直發(fā)生著變動，或被更新或被棄用，可能一些代碼在當(dāng)時是沒問題的，但過了一大段時間后再跑可能就會報錯，在此注明事件時間：2017.4.30

這段代碼中，通過saver.save函數(shù)將TensorFlow模型保存到了save/model.ckpt文件中，這里代碼中指定路徑為"save/model.ckpt"，也就是保存到了當(dāng)前程序所在文件夾里面的save文件夾中。

TensorFlow模型會保存在后綴為.ckpt的文件中。保存后在save這個文件夾中會出現(xiàn)3個文件，因為TensorFlow會將計算圖的結(jié)構(gòu)和圖上參數(shù)取值分開保存。

checkpoint文件保存了一個目錄下所有的模型文件列表，這個文件是tf.train.Saver類自動生成且自動維護的。在 checkpoint文件中維護了由一個tf.train.Saver類持久化的所有TensorFlow模型文件的文件名。當(dāng)某個保存的TensorFlow模型文件被刪除時，這個模型所對應(yīng)的文件名也會從checkpoint文件中刪除。checkpoint中內(nèi)容的格式為CheckpointState Protocol Buffer.

model.ckpt.meta文件保存了TensorFlow計算圖的結(jié)構(gòu)，可以理解為神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)
TensorFlow通過元圖（MetaGraph）來記錄計算圖中節(jié)點的信息以及運行計算圖中節(jié)點所需要的元數(shù)據(jù)。TensorFlow中元圖是由MetaGraphDef Protocol Buffer定義的。MetaGraphDef 中的內(nèi)容構(gòu)成了TensorFlow持久化時的第一個文件。保存MetaGraphDef 信息的文件默認(rèn)以.meta為后綴名，文件model.ckpt.meta中存儲的就是元圖數(shù)據(jù)。

model.ckpt文件保存了TensorFlow程序中每一個變量的取值，這個文件是通過SSTable格式存儲的，可以大致理解為就是一個（key，value）列表。model.ckpt文件中列表的第一行描述了文件的元信息，比如在這個文件中存儲的變量列表。列表剩下的每一行保存了一個變量的片段，變量片段的信息是通過SavedSlice Protocol Buffer定義的。SavedSlice類型中保存了變量的名稱、當(dāng)前片段的信息以及變量取值。TensorFlow提供了tf.train.NewCheckpointReader類來查看model.ckpt文件中保存的變量信息。如何使用tf.train.NewCheckpointReader類這里不做說明，自查。

下面代碼給出了加載TensorFlow模型的方法：

可以對比一下v1、v2的值是隨機初始化的值還是和之前保存的值是一樣的？

import tensorflow as tf

# 使用和保存模型代碼中一樣的方式來聲明變量
v1 = tf.Variable(tf.random_normal([1, 2]), name="v1")
v2 = tf.Variable(tf.random_normal([2, 3]), name="v2")
saver = tf.train.Saver() # 聲明tf.train.Saver類用于保存模型
with tf.Session() as sess:
    saver.restore(sess, "save/model.ckpt") # 即將固化到硬盤中的Session從保存路徑再讀取出來
    print("v1:", sess.run(v1)) # 打印v1、v2的值和之前的進行對比
    print("v2:", sess.run(v2))
    print("Model Restored")

運行結(jié)果：

v1: [[ 0.76705766  1.82217288]]
v2: [[-0.98012197  1.2369734   0.5797025 ]
 [ 2.50458145  0.81897354  0.07858191]]
Model Restored

這段加載模型的代碼基本上和保存模型的代碼是一樣的。也是先定義了TensorFlow計算圖上所有的運算，并聲明了一個tf.train.Saver類。兩段唯一的不同是，在加載模型的代碼中沒有運行變量的初始化過程，而是將變量的值通過已經(jīng)保存的模型加載進來。
也就是說使用TensorFlow完成了一次模型的保存和讀取的操作。

如果不希望重復(fù)定義圖上的運算，也可以直接加載已經(jīng)持久化的圖：

import tensorflow as tf
# 在下面的代碼中，默認(rèn)加載了TensorFlow計算圖上定義的全部變量
# 直接加載持久化的圖
saver = tf.train.import_meta_graph("save/model.ckpt.meta")
with tf.Session() as sess:
    saver.restore(sess, "save/model.ckpt")
    # 通過張量的名稱來獲取張量
    print(sess.run(tf.get_default_graph().get_tensor_by_name("v1:0")))

運行程序，輸出：

[[ 0.76705766  1.82217288]]

有時可能只需要保存或者加載部分變量。
比如，可能有一個之前訓(xùn)練好的5層神經(jīng)網(wǎng)絡(luò)模型，但現(xiàn)在想寫一個6層的神經(jīng)網(wǎng)絡(luò)，那么可以將之前5層神經(jīng)網(wǎng)絡(luò)中的參數(shù)直接加載到新的模型，而僅僅將最后一層神經(jīng)網(wǎng)絡(luò)重新訓(xùn)練。

為了保存或者加載部分變量，在聲明tf.train.Saver類時可以提供一個列表來指定需要保存或者加載的變量。比如在加載模型的代碼中使用saver = tf.train.Saver([v1])命令來構(gòu)建tf.train.Saver類，那么只有變量v1會被加載進來。

以上就是python深度學(xué)習(xí)TensorFlow神經(jīng)網(wǎng)絡(luò)模型的保存和讀取的詳細(xì)內(nèi)容，更多關(guān)于TensorFlow網(wǎng)絡(luò)模型保存和讀取的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論