Tensorflow加載Vgg預(yù)訓(xùn)練模型操作
很多深度神經(jīng)網(wǎng)絡(luò)模型需要加載預(yù)訓(xùn)練過的Vgg參數(shù),比如說:風(fēng)格遷移、目標(biāo)檢測、圖像標(biāo)注等計(jì)算機(jī)視覺中常見的任務(wù)。那么到底如何加載Vgg模型呢?Vgg文件的參數(shù)到底有何意義呢?加載后的模型該如何使用呢?
本文將以Vgg19為例子,詳細(xì)說明Tensorflow如何加載Vgg預(yù)訓(xùn)練模型。
實(shí)驗(yàn)環(huán)境
GTX1050-ti, cuda9.0
Window10, Tensorflow 1.12
展示Vgg19構(gòu)造
import tensorflow as tf import numpy as np import scipy.io data_path = 'model/vgg19.mat' # data_path指下載下來的Vgg19預(yù)訓(xùn)練模型的文件地址 # 讀取Vgg19文件 data = scipy.io.loadmat(data_path) # 打印Vgg19的數(shù)據(jù)類型及其組成 print("type: ", type(data)) print("data.keys: ", data.keys()) # 得到對應(yīng)卷積核的矩陣 weights = data['layers'][0] # 定義Vgg19的組成 layers = ( 'conv1_1', 'relu1_1', 'conv1_2', 'relu1_2', 'pool1', 'conv2_1', 'relu2_1', 'conv2_2', 'relu2_2', 'pool2', 'conv3_1', 'relu3_1', 'conv3_2', 'relu3_2', 'conv3_3', 'relu3_3', 'conv3_4', 'relu3_4', 'pool3', 'conv4_1', 'relu4_1', 'conv4_2', 'relu4_2', 'conv4_3', 'relu4_3', 'conv4_4', 'relu4_4', 'pool4', 'conv5_1', 'relu5_1', 'conv5_2', 'relu5_2', 'conv5_3', 'relu5_3', 'conv5_4', 'relu5_4' ) # 打印Vgg19不同卷積層所對應(yīng)的維度 for i, name in enumerate(layers): kind = name[:4] if kind == 'conv': print("%s: %s" % (name, weights[i][0][0][2][0][0].shape)) elif kind == 'relu': print(name) elif kind == 'pool': print(name) 代碼輸出結(jié)果如下: type: <class 'dict'> data.keys: dict_keys(['__header__', '__version__', '__globals__', 'layers', 'meta']) conv1_1: (3, 3, 3, 64) relu1_1 conv1_2: (3, 3, 64, 64) relu1_2 pool1 conv2_1: (3, 3, 64, 128) relu2_1 conv2_2: (3, 3, 128, 128) relu2_2 pool2 conv3_1: (3, 3, 128, 256) relu3_1 conv3_2: (3, 3, 256, 256) relu3_2 conv3_3: (3, 3, 256, 256) relu3_3 conv3_4: (3, 3, 256, 256) relu3_4 pool3 conv4_1: (3, 3, 256, 512) relu4_1 conv4_2: (3, 3, 512, 512) relu4_2 conv4_3: (3, 3, 512, 512) relu4_3 conv4_4: (3, 3, 512, 512) relu4_4 pool4 conv5_1: (3, 3, 512, 512) relu5_1 conv5_2: (3, 3, 512, 512) relu5_2 conv5_3: (3, 3, 512, 512) relu5_3 conv5_4: (3, 3, 512, 512) relu5_4
那么Vgg19真實(shí)的網(wǎng)絡(luò)結(jié)構(gòu)是怎么樣子的呢,如下圖所示:
在本文,主要討論卷積模塊,大家通過對比可以發(fā)現(xiàn),我們打印出來的Vgg19結(jié)構(gòu)及其卷積核的構(gòu)造的確如論文中給出的Vgg19結(jié)構(gòu)一致。
構(gòu)建Vgg19模型
def _conv_layer(input, weights, bias): conv = tf.nn.conv2d(input, tf.constant(weights), strides=(1, 1, 1, 1), padding='SAME') return tf.nn.bias_add(conv, bias) def _pool_layer(input): return tf.nn.max_pool(input, ksize=(1, 2, 2, 1), strides=(1, 2, 2, 1), padding='SAME') class VGG19: layers = ( 'conv1_1', 'relu1_1', 'conv1_2', 'relu1_2', 'pool1', 'conv2_1', 'relu2_1', 'conv2_2', 'relu2_2', 'pool2', 'conv3_1', 'relu3_1', 'conv3_2', 'relu3_2', 'conv3_3', 'relu3_3', 'conv3_4', 'relu3_4', 'pool3', 'conv4_1', 'relu4_1', 'conv4_2', 'relu4_2', 'conv4_3', 'relu4_3', 'conv4_4', 'relu4_4', 'pool4', 'conv5_1', 'relu5_1', 'conv5_2', 'relu5_2', 'conv5_3', 'relu5_3', 'conv5_4', 'relu5_4' ) def __init__(self, data_path): data = scipy.io.loadmat(data_path) self.weights = data['layers'][0] def feed_forward(self, input_image, scope=None): # 定義net用來保存模型每一步輸出的特征圖 net = {} current = input_image with tf.variable_scope(scope): for i, name in enumerate(self.layers): kind = name[:4] if kind == 'conv': kernels = self.weights[i][0][0][2][0][0] bias = self.weights[i][0][0][2][0][1] kernels = np.transpose(kernels, (1, 0, 2, 3)) bias = bias.reshape(-1) current = _conv_layer(current, kernels, bias) elif kind == 'relu': current = tf.nn.relu(current) elif kind == 'pool': current = _pool_layer(current) # 在每一步都保存當(dāng)前輸出的特征圖 net[name] = current return net
在上面的代碼中,我們定義了一個(gè)Vgg19的類別專門用來加載Vgg19模型,并且將每一層卷積得到的特征圖保存到net中,最后返回這個(gè)net,用于代碼后續(xù)的處理。
測試Vgg19模型
在給出Vgg19的構(gòu)造模型后,我們下一步就是如何用它,我們的思路如下:
加載本地圖片
定義Vgg19模型,傳入本地圖片
得到返回每一層的特征圖
image_path = "data/test.jpg" # 本地的測試圖片 image_raw = tf.gfile.GFile(image_path, 'rb').read() # 一定要tf.float(),否則會報(bào)錯(cuò) image_decoded = tf.to_float(tf.image.decode_jpeg(image_raw)) # 擴(kuò)展圖片的維度,從三維變成四維,符合Vgg19的輸入接口 image_expand_dim = tf.expand_dims(image_decoded, 0) # 定義Vgg19模型 vgg19 = VGG19(data_path) net = vgg19.feed_forward(image_expand_dim, 'vgg19') print(net) 代碼結(jié)果如下所示: {'conv1_1': <tf.Tensor 'vgg19_1/BiasAdd:0' shape=(1, ?, ?, 64) dtype=float32>, 'relu1_1': <tf.Tensor 'vgg19_1/Relu:0' shape=(1, ?, ?, 64) dtype=float32>, 'conv1_2': <tf.Tensor 'vgg19_1/BiasAdd_1:0' shape=(1, ?, ?, 64) dtype=float32>, 'relu1_2': <tf.Tensor 'vgg19_1/Relu_1:0' shape=(1, ?, ?, 64) dtype=float32>, 'pool1': <tf.Tensor 'vgg19_1/MaxPool:0' shape=(1, ?, ?, 64) dtype=float32>, 'conv2_1': <tf.Tensor 'vgg19_1/BiasAdd_2:0' shape=(1, ?, ?, 128) dtype=float32>, 'relu2_1': <tf.Tensor 'vgg19_1/Relu_2:0' shape=(1, ?, ?, 128) dtype=float32>, 'conv2_2': <tf.Tensor 'vgg19_1/BiasAdd_3:0' shape=(1, ?, ?, 128) dtype=float32>, 'relu2_2': <tf.Tensor 'vgg19_1/Relu_3:0' shape=(1, ?, ?, 128) dtype=float32>, 'pool2': <tf.Tensor 'vgg19_1/MaxPool_1:0' shape=(1, ?, ?, 128) dtype=float32>, 'conv3_1': <tf.Tensor 'vgg19_1/BiasAdd_4:0' shape=(1, ?, ?, 256) dtype=float32>, 'relu3_1': <tf.Tensor 'vgg19_1/Relu_4:0' shape=(1, ?, ?, 256) dtype=float32>, 'conv3_2': <tf.Tensor 'vgg19_1/BiasAdd_5:0' shape=(1, ?, ?, 256) dtype=float32>, 'relu3_2': <tf.Tensor 'vgg19_1/Relu_5:0' shape=(1, ?, ?, 256) dtype=float32>, 'conv3_3': <tf.Tensor 'vgg19_1/BiasAdd_6:0' shape=(1, ?, ?, 256) dtype=float32>, 'relu3_3': <tf.Tensor 'vgg19_1/Relu_6:0' shape=(1, ?, ?, 256) dtype=float32>, 'conv3_4': <tf.Tensor 'vgg19_1/BiasAdd_7:0' shape=(1, ?, ?, 256) dtype=float32>, 'relu3_4': <tf.Tensor 'vgg19_1/Relu_7:0' shape=(1, ?, ?, 256) dtype=float32>, 'pool3': <tf.Tensor 'vgg19_1/MaxPool_2:0' shape=(1, ?, ?, 256) dtype=float32>, 'conv4_1': <tf.Tensor 'vgg19_1/BiasAdd_8:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu4_1': <tf.Tensor 'vgg19_1/Relu_8:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv4_2': <tf.Tensor 'vgg19_1/BiasAdd_9:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu4_2': <tf.Tensor 'vgg19_1/Relu_9:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv4_3': <tf.Tensor 'vgg19_1/BiasAdd_10:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu4_3': <tf.Tensor 'vgg19_1/Relu_10:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv4_4': <tf.Tensor 'vgg19_1/BiasAdd_11:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu4_4': <tf.Tensor 'vgg19_1/Relu_11:0' shape=(1, ?, ?, 512) dtype=float32>, 'pool4': <tf.Tensor 'vgg19_1/MaxPool_3:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv5_1': <tf.Tensor 'vgg19_1/BiasAdd_12:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu5_1': <tf.Tensor 'vgg19_1/Relu_12:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv5_2': <tf.Tensor 'vgg19_1/BiasAdd_13:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu5_2': <tf.Tensor 'vgg19_1/Relu_13:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv5_3': <tf.Tensor 'vgg19_1/BiasAdd_14:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu5_3': <tf.Tensor 'vgg19_1/Relu_14:0' shape=(1, ?, ?, 512) dtype=float32>, 'conv5_4': <tf.Tensor 'vgg19_1/BiasAdd_15:0' shape=(1, ?, ?, 512) dtype=float32>, 'relu5_4': <tf.Tensor 'vgg19_1/Relu_15:0' shape=(1, ?, ?, 512) dtype=float32>}
本文提供的測試代碼是完成正確的,已經(jīng)避免了很多使用Vgg19預(yù)訓(xùn)練模型的坑操作,比如:給圖片添加維度,轉(zhuǎn)換讀取圖片的的格式等,為什么這么做的詳細(xì)原因可參考我的另一篇博客:Tensorflow加載Vgg預(yù)訓(xùn)練模型的幾個(gè)注意事項(xiàng)。
到這里,如何使用tensorflow讀取Vgg19模型結(jié)束了,若是大家有其他疑惑,可在評論區(qū)留言,會定時(shí)回答。
好了,以上就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python異步編程之新舊協(xié)程的實(shí)現(xiàn)對比
Python中新舊協(xié)程的實(shí)現(xiàn)方式在協(xié)程發(fā)展史上有一段交集,并且舊協(xié)程基于生成器的協(xié)程語法讓生成器和協(xié)程兩個(gè)概念混淆,所以對學(xué)習(xí)者會造成一定的困擾,本文主要說明兩種協(xié)程的實(shí)現(xiàn)方式的差異,需要的可以了解下2024-01-01Python中使用logging模塊代替print(logging簡明指南)
這篇文章主要介紹了Python中使用logging模塊代替print的好處說明,主旨是logging模塊簡明指南,logging模塊的使用方法介紹,需要的朋友可以參考下2014-07-07Python pandas.DataFrame 找出有空值的行
這篇文章主要介紹了Python pandas.DataFrame 找出有空值的行,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09Python生成可執(zhí)行文件之PyInstaller庫的使用方式
PyInstaller是一個(gè)十分有用的第三方庫,通過對源文件打包,Python程序可以在沒有安裝Python的環(huán)境中運(yùn)行,也可以作為一個(gè)獨(dú)立文件方便傳遞和管理,下面這篇文章主要給大家介紹了關(guān)于Python生成可執(zhí)行文件之PyInstaller庫的使用方式,需要的朋友可以參考下2022-04-04淺談numpy中l(wèi)inspace的用法 (等差數(shù)列創(chuàng)建函數(shù))
下面小編就為大家?guī)硪黄獪\談numpy中l(wèi)inspace的用法 (等差數(shù)列創(chuàng)建函數(shù))。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-06-06如何基于windows實(shí)現(xiàn)python定時(shí)爬蟲
這篇文章主要介紹了如何基于windows實(shí)現(xiàn)python定時(shí)爬蟲,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05解決python中os.listdir()函數(shù)讀取文件夾下文件的亂序和排序問題
今天小編就為大家分享一篇解決python中os.listdir()函數(shù)讀取文件夾下文件的亂序和排序問題,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10