Tensorflow 實(shí)現(xiàn)分批量讀取數(shù)據(jù)
之前的博客里使用tf讀取數(shù)據(jù)都是每次fetch一條記錄,實(shí)際上大部分時(shí)候需要fetch到一個(gè)batch的小批量數(shù)據(jù),在tf中這一操作的明顯變化就是tensor的rank發(fā)生了變化,我目前使用的人臉數(shù)據(jù)集是灰度圖像,因此大小是92*112的,所以最開(kāi)始fetch拿到的圖像數(shù)據(jù)集經(jīng)過(guò)reshape之后就是一個(gè)rank為2的tensor,大小是92*112的(如果考慮通道,也可以reshape為rank為3的,即92*112*1)。
如果加入batch,比如batch大小為5,那么拿到的tensor的rank就變成了3,大小為5*92*112。
下面規(guī)則化的寫(xiě)一下讀取數(shù)據(jù)的一般流程,按照官網(wǎng)的實(shí)例,一般把讀取數(shù)據(jù)拆分成兩個(gè)大部分,一個(gè)是函數(shù)專(zhuān)門(mén)負(fù)責(zé)讀取數(shù)據(jù)和解碼數(shù)據(jù),一個(gè)函數(shù)則負(fù)責(zé)生產(chǎn)batch。
import tensorflow as tf def read_data(fileNameQue): reader = tf.TFRecordReader() key, value = reader.read(fileNameQue) features = tf.parse_single_example(value, features={'label': tf.FixedLenFeature([], tf.int64), 'img': tf.FixedLenFeature([], tf.string),}) img = tf.decode_raw(features["img"], tf.uint8) img = tf.reshape(img, [92,112]) # 恢復(fù)圖像原始大小 label = tf.cast(features["label"], tf.int32) return img, label def batch_input(filename, batchSize): fileNameQue = tf.train.string_input_producer([filename], shuffle=True) img, label = read_data(fileNameQue) # fetch圖像和label min_after_dequeue = 1000 capacity = min_after_dequeue+3*batchSize # 預(yù)取圖像和label并隨機(jī)打亂,組成batch,此時(shí)tensor rank發(fā)生了變化,多了一個(gè)batch大小的維度 exampleBatch,labelBatch = tf.train.shuffle_batch([img, label],batch_size=batchSize, capacity=capacity, min_after_dequeue=min_after_dequeue) return exampleBatch,labelBatch if __name__ == "__main__": init = tf.initialize_all_variables() exampleBatch, labelBatch = batch_input("./data/faceTF.tfrecords", batchSize=10) with tf.Session() as sess: sess.run(init) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) for i in range(100): example, label = sess.run([exampleBatch, labelBatch]) print(example.shape) coord.request_stop() coord.join(threads)
讀取數(shù)據(jù)和解碼數(shù)據(jù)與之前基本相同,針對(duì)不同格式數(shù)據(jù)集使用不同閱讀器和解碼器即可,后面是產(chǎn)生batch,核心是tf.train.shuffle_batch這個(gè)函數(shù),它相當(dāng)于一個(gè)蓄水池的功能,第一個(gè)參數(shù)代表蓄水池的入水口,也就是逐個(gè)讀取到的記錄,batch_size自然就是batch的大小了,capacity是蓄水池的容量,表示能容納多少個(gè)樣本,min_after_dequeue是指出隊(duì)操作后還可以供隨機(jī)采樣出批量數(shù)據(jù)的樣本池大小,顯然,capacity要大于min_after_dequeue,官網(wǎng)推薦:min_after_dequeue + (num_threads + a small safety margin) * batch_size,還有一個(gè)參數(shù)就是num_threads,表示所用線程數(shù)目。
min_after_dequeue這個(gè)值越大,隨機(jī)采樣的效果越好,但是消耗的內(nèi)存也越大。
以上這篇Tensorflow 實(shí)現(xiàn)分批量讀取數(shù)據(jù)就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- TensorFlow實(shí)現(xiàn)從txt文件讀取數(shù)據(jù)
- TensorFlow 讀取CSV數(shù)據(jù)的實(shí)例
- 利用Tensorflow的隊(duì)列多線程讀取數(shù)據(jù)方式
- tensorflow使用range_input_producer多線程讀取數(shù)據(jù)實(shí)例
- tensorflow入門(mén):TFRecordDataset變長(zhǎng)數(shù)據(jù)的batch讀取詳解
- tensorflow tf.train.batch之?dāng)?shù)據(jù)批量讀取方式
- Tensorflow中使用tfrecord方式讀取數(shù)據(jù)的方法
- 用十張圖詳解TensorFlow數(shù)據(jù)讀取機(jī)制(附代碼)
- TensorFlow高效讀取數(shù)據(jù)的方法示例
- 詳解Tensorflow數(shù)據(jù)讀取有三種方式(next_batch)
- Tensorflow分批量讀取數(shù)據(jù)教程
相關(guān)文章
Selenium(Python web測(cè)試工具)基本用法詳解
這篇文章主要介紹了Selenium(Python web測(cè)試工具)基本用法,結(jié)合實(shí)例形式分析了Selenium的基本安裝、簡(jiǎn)單使用方法及相關(guān)操作技巧,需要的朋友可以參考下2018-08-08一文解密Python函數(shù)的實(shí)現(xiàn)原理
函數(shù)是任何一門(mén)編程語(yǔ)言都具備的基本元素,它可以將多個(gè)要執(zhí)行的操作組合起來(lái),一個(gè)函數(shù)代表了一系列的操作。那就來(lái)看看Python函數(shù)的實(shí)現(xiàn)原理吧2023-03-03基于Python編寫(xiě)簡(jiǎn)易文字語(yǔ)音轉(zhuǎn)換器
這篇文章主要為大家介紹了如何利用Python編寫(xiě)一個(gè)簡(jiǎn)易文字語(yǔ)音轉(zhuǎn)換器,并打包成exe。文中的示例代碼講解詳細(xì),感興趣的小伙伴快跟隨小編一起嘗試一下2022-03-03Python數(shù)據(jù)分析之matplotlib繪圖詳解
這篇文章主要為大家詳細(xì)介紹了Python數(shù)據(jù)分析之如何利用matplotlib進(jìn)行繪圖,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-09-09關(guān)于sklearn中模塊包導(dǎo)入報(bào)錯(cuò)的通用解決方法
這篇文章主要介紹了關(guān)于sklearn中模塊包導(dǎo)入報(bào)錯(cuò)的通用解決方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06Python圖形用戶(hù)界面與游戲開(kāi)發(fā)實(shí)例詳解
GUI是圖形用戶(hù)界面的縮寫(xiě),圖形化的用戶(hù)界面對(duì)使用過(guò)計(jì)算機(jī)的人來(lái)說(shuō)應(yīng)該都不陌生,下面這篇文章主要給大家介紹了關(guān)于Python圖形用戶(hù)界面與游戲開(kāi)發(fā)的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09Django-Model數(shù)據(jù)庫(kù)操作(增刪改查、連表結(jié)構(gòu))詳解
這篇文章主要介紹了Django-Model數(shù)據(jù)庫(kù)操作(增刪改查、連表結(jié)構(gòu))詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07