淺談TensorFlow中讀取圖像數(shù)據(jù)的三種方式
本文面對三種常常遇到的情況,總結(jié)三種讀取數(shù)據(jù)的方式,分別用于處理單張圖片、大量圖片,和TFRecorder讀取方式。并且還補(bǔ)充了功能相近的tf函數(shù)。
1、處理單張圖片
我們訓(xùn)練完模型之后,常常要用圖片測試,有的時(shí)候,我們并不需要對很多圖像做測試,可能就是幾張甚至一張。這種情況下沒有必要用隊(duì)列機(jī)制。
import tensorflow as tf import matplotlib.pyplot as plt def read_image(file_name): img = tf.read_file(filename=file_name) # 默認(rèn)讀取格式為uint8 print("img 的類型是",type(img)); img = tf.image.decode_jpeg(img,channels=0) # channels 為1得到的是灰度圖,為0則按照圖片格式來讀 return img def main( ): with tf.device("/cpu:0"): # img_path是文件所在地址包括文件名稱,地址用相對地址或者絕對地址都行 img_path='./1.jpg' img=read_image(img_path) with tf.Session() as sess: image_numpy=sess.run(img) print(image_numpy) print(image_numpy.dtype) print(image_numpy.shape) plt.imshow(image_numpy) plt.show() if __name__=="__main__": main() """
輸出結(jié)果為:
img 的類型是 <class 'tensorflow.python.framework.ops.Tensor'>
[[[196 219 209]
[196 219 209]
[196 219 209]
...[[ 71 106 42]
[ 59 89 39]
[ 34 63 19]
...
[ 21 52 46]
[ 15 45 43]
[ 22 50 53]]]
uint8
(675, 1200, 3)
"""
和tf.read_file用法相似的函數(shù)還有tf.gfile.FastGFile tf.gfile.GFile,只是要指定讀取方式是'r' 還是'rb' 。
2、需要讀取大量圖像用于訓(xùn)練
這種情況就需要使用Tensorflow隊(duì)列機(jī)制。首先是獲得每張圖片的路徑,把他們都放進(jìn)一個(gè)list里面,然后用string_input_producer創(chuàng)建隊(duì)列,再用tf.WholeFileReader讀取。具體請看下例:
def get_image_batch(data_file,batch_size): data_names=[os.path.join(data_file,k) for k in os.listdir(data_file)] #這個(gè)num_epochs函數(shù)在整個(gè)Graph是local Variable,所以在sess.run全局變量的時(shí)候也要加上局部變量。 filenames_queue=tf.train.string_input_producer(data_names,num_epochs=50,shuffle=True,capacity=512) reader=tf.WholeFileReader() _,img_bytes=reader.read(filenames_queue) image=tf.image.decode_png(img_bytes,channels=1) #讀取的是什么格式,就decode什么格式 #解碼成單通道的,并且獲得的結(jié)果的shape是[?, ?,1],也就是Graph不知道圖像的大小,需要set_shape image.set_shape([180,180,1]) #set到原本已知圖像的大小?;蛘咧苯油ㄟ^tf.image.resize_images,tf.reshape() image=tf.image.convert_image_dtype(image,tf.float32) #預(yù)處理 下面的一句代碼可以換成自己想使用的預(yù)處理方式 #image=tf.divide(image,255.0) return tf.train.batch([image],batch_size)
這里的date_file是指文件夾所在的路徑,不包括文件名。第一句是遍歷指定目錄下的文件名稱,存放到一個(gè)list中。當(dāng)然這個(gè)做法有很多種方法,比如glob.glob,或者tf.train.match_filename_once
全部代碼如下:
import tensorflow as tf import os def read_image(data_file,batch_size): data_names=[os.path.join(data_file,k) for k in os.listdir(data_file)] filenames_queue=tf.train.string_input_producer(data_names,num_epochs=5,shuffle=True,capacity=30) reader=tf.WholeFileReader() _,img_bytes=reader.read(filenames_queue) image=tf.image.decode_jpeg(img_bytes,channels=1) image=tf.image.resize_images(image,(180,180)) image=tf.image.convert_image_dtype(image,tf.float32) return tf.train.batch([image],batch_size) def main( ): img_path=r'F:\dataSet\WIDER\WIDER_train\images\6--Funeral' #本地的一個(gè)數(shù)據(jù)集目錄,有足夠的圖像 img=read_image(img_path,batch_size=10) image=img[0] #取出每個(gè)batch的第一個(gè)數(shù)據(jù) print(image) init=[tf.global_variables_initializer(),tf.local_variables_initializer()] with tf.Session() as sess: sess.run(init) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(sess=sess,coord=coord) try: while not coord.should_stop(): print(image.shape) except tf.errors.OutOfRangeError: print('read done') finally: coord.request_stop() coord.join(threads) if __name__=="__main__": main() """
輸出如下:
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
"""
這段代碼可以說寫的很是規(guī)整了。注意到init里面有對local變量的初始化,并且因?yàn)橛玫搅岁?duì)列,當(dāng)然要告訴電腦什么時(shí)候隊(duì)列開始, tf.train.Coordinator 和 tf.train.start_queue_runners 就是兩個(gè)管理隊(duì)列的類,用法如程序所示。
與 tf.train.string_input_producer相似的函數(shù)是 tf.train.slice_input_producer。 tf.train.slice_input_producer和tf.train.string_input_producer的第一個(gè)參數(shù)形式不一樣。等有時(shí)間再做一個(gè)二者比較的博客
3、對TFRecorder解碼獲得圖像數(shù)據(jù)
其實(shí)這塊和上一種方式差不多的,更重要的是怎么生成TFRecorder文件,這一部分我會補(bǔ)充到另一篇博客上。
仍然使用 tf.train.string_input_producer。
import tensorflow as tf import matplotlib.pyplot as plt import os import cv2 import numpy as np import glob def read_image(data_file,batch_size): files_path=glob.glob(data_file) queue=tf.train.string_input_producer(files_path,num_epochs=None) reader = tf.TFRecordReader() print(queue) _, serialized_example = reader.read(queue) features = tf.parse_single_example( serialized_example, features={ 'image_raw': tf.FixedLenFeature([], tf.string), 'label_raw': tf.FixedLenFeature([], tf.string), }) image = tf.decode_raw(features['image_raw'], tf.uint8) image = tf.cast(image, tf.float32) image.set_shape((12*12*3)) label = tf.decode_raw(features['label_raw'], tf.float32) label.set_shape((2)) # 預(yù)處理部分省略,大家可以自己根據(jù)需要添加 return tf.train.batch([image,label],batch_size=batch_size,num_threads=4,capacity=5*batch_size) def main( ): img_path=r'F:\python\MTCNN_by_myself\prepare_data\pnet*.tfrecords' #本地的幾個(gè)tf文件 img,label=read_image(img_path,batch_size=10) image=img[0] init=[tf.global_variables_initializer(),tf.local_variables_initializer()] with tf.Session() as sess: sess.run(init) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(sess=sess,coord=coord) try: while not coord.should_stop(): print(image.shape) except tf.errors.OutOfRangeError: print('read done') finally: coord.request_stop() coord.join(threads) if __name__=="__main__": main()
在read_image函數(shù)中,先使用glob函數(shù)獲得了存放tfrecord文件的列表,然后根據(jù)TFRecord文件是如何存的就如何parse,再set_shape;這里有必要提醒下parse的方式。我們看到這里用的是tf.decode_raw ,因?yàn)樽鯰FRecord是將圖像數(shù)據(jù)string化了,數(shù)據(jù)是串行的,丟失了空間結(jié)果。從features中取出image和label的數(shù)據(jù),這時(shí)就要用 tf.decode_raw 解碼,得到的結(jié)果當(dāng)然也是串行的了,所以set_shape 成一個(gè)串行的,再reshape。這種方式是取決于你的編碼TFRecord方式的。
再舉一種例子:
reader=tf.TFRecordReader() _,serialized_example=reader.read(file_name_queue) features = tf.parse_single_example(serialized_example, features={ 'data': tf.FixedLenFeature([256,256], tf.float32), ### 'label': tf.FixedLenFeature([], tf.int64), 'id': tf.FixedLenFeature([], tf.int64) }) img = features['data'] label =features['label'] id = features['id']
這個(gè)時(shí)候就不需要任何解碼了。因?yàn)樽鯰FRecord的方式就是直接把圖像數(shù)據(jù)append進(jìn)去了。
參考鏈接:
https://blog.csdn.net/qq_34914551/article/details/86286184
到此這篇關(guān)于淺談TensorFlow中讀取圖像數(shù)據(jù)的三種方式的文章就介紹到這了,更多相關(guān)TensorFlow 讀取圖像數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 基于Tensorflow讀取MNIST數(shù)據(jù)集時(shí)網(wǎng)絡(luò)超時(shí)的解決方式
- Tensorflow分批量讀取數(shù)據(jù)教程
- 利用Tensorflow的隊(duì)列多線程讀取數(shù)據(jù)方式
- Tensorflow 實(shí)現(xiàn)分批量讀取數(shù)據(jù)
- Tensorflow中使用tfrecord方式讀取數(shù)據(jù)的方法
- 用十張圖詳解TensorFlow數(shù)據(jù)讀取機(jī)制(附代碼)
- TensorFlow高效讀取數(shù)據(jù)的方法示例
- 詳解Tensorflow數(shù)據(jù)讀取有三種方式(next_batch)
相關(guān)文章
python把數(shù)據(jù)框?qū)懭隡ySQL的方法
這篇文章主要介紹了如何讓python把數(shù)據(jù)框?qū)懭隡ySQL,下文利用上海市2016年9月1日公共交通卡刷卡數(shù)據(jù)的一份數(shù)據(jù)單展開其方法,需要的小伙伴可以參考一下2022-03-03Python+Pygame實(shí)戰(zhàn)之泡泡游戲的實(shí)現(xiàn)
這篇文章主要為大家介紹了如何利用Python中的Pygame模塊實(shí)現(xiàn)泡泡游戲,文中的示例代碼講解詳細(xì),對我們學(xué)習(xí)Python游戲開發(fā)有一定幫助,需要的可以參考一下2022-07-07使用Python3編寫抓取網(wǎng)頁和只抓網(wǎng)頁圖片的腳本
這篇文章主要介紹了使用Python3編寫抓取網(wǎng)頁和只抓網(wǎng)頁圖片的腳本,使用到了urllib模塊,需要的朋友可以參考下2015-08-08Django集成celery發(fā)送異步郵件實(shí)例
今天小編就為大家分享一篇Django集成celery發(fā)送異步郵件實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12