python神經網絡tfrecords文件的寫入讀取及內容解析
更新時間：2022年05月04日 10:17:25 作者：Bubbliiiing
這篇文章主要為大家介紹了python神經網絡tfrecords文件的寫入讀取及內容解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
學習前言
前一段時間對SSD預測與訓練的整體框架有了一定的了解，但是對其中很多細節(jié)還是把握的不清楚。今天我決定好好了解以下tfrecords文件的構造。
tfrecords格式是什么
tfrecords是一種二進制編碼的文件格式，tensorflow專用。能將任意數據轉換為tfrecords。更好的利用內存，更方便復制和移動，并且不需要單獨的標簽文件。
之所以使用到tfrecords格式是因為當今數據爆炸的情況下，使用普通的數據格式不僅麻煩，而且速度慢，這種專門為tensorflow定制的數據格式可以大大增快數據的讀取，而且將所有內容規(guī)整，在保證速度的情況下，使得數據更加簡單明晰。
tfrecords的寫入
這個例子將會講述如何將MNIST數據集寫入到tfrecords，本次用到的MNIST數據集會利用tensorflow原有的庫進行導入。
from tensorflow.examples.tutorials.mnist import input_data
# 讀取MNIST數據集
mnist = input_data.read_data_sets('./MNIST_data', dtype=tf.float32, one_hot=True)
對于MNIST數據集而言，其中的訓練集是mnist.train，而它的數據可以分為images和labels，可通過如下方式獲得。
# 獲得image，shape為(55000,784) images = mnist.train.images # 獲得label，shape為(55000,10) labels = mnist.train.labels # 獲得一共具有多少張圖片 num_examples = mnist.train.num_examples
接下來定義存儲TFRecord文件的地址，同時創(chuàng)建一個writer來寫TFRecord文件。
# 存儲TFRecord文件的地址 filename = 'record/output.tfrecords' # 創(chuàng)建一個writer來寫TFRecord文件 writer = tf.python_io.TFRecordWriter(filename)
此時便可以按照一定的格式寫入了，此時需要對每一張圖片進行循環(huán)并寫入，在tf.train.Features中利用features字典定義了數據保存的方式。以image_raw為例，其經過函數_float_feature處理后，存儲到tfrecords文件的’image/encoded’位置上。
# 將每張圖片都轉為一個Example，并寫入
for i in range(num_examples):
image_raw = images[i] # 讀取每一幅圖像
image_string = images[i].tostring()
example = tf.train.Example(
features=tf.train.Features(
feature={
'image/class/label': _int64_feature(np.argmax(labels[i])),
'image/encoded': _float_feature(image_raw),
'image/encoded_tostring': _bytes_feature(image_string)
}
)
)
print(i,"/",num_examples)
writer.write(example.SerializeToString()) # 將Example寫入TFRecord文件
在最終存入前，數據還需要經過處理，處理方式如下：
# 生成整數的屬性
def _int64_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
# 生成浮點數的屬性
def _float_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(float_list=tf.train.FloatList(value=value))
# 生成字符串型的屬性
def _bytes_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(bytes_list=tf.train.BytesList(value=value))
tfrecords的讀取
tfrecords的讀取首先要創(chuàng)建一個reader來讀取TFRecord文件中的Example。
# 創(chuàng)建一個reader來讀取TFRecord文件中的Example reader = tf.TFRecordReader()
再創(chuàng)建一個隊列來維護輸入文件列表。
# 創(chuàng)建一個隊列來維護輸入文件列表 filename_queue = tf.train.string_input_producer(['record/output.tfrecords'])
利用reader讀取輸入文件列表隊列，并用parse_single_example將讀入的Example解析成tensor
# 從文件中讀出一個Example
_, serialized_example = reader.read(filename_queue)
# 用parse_single_example將讀入的Example解析成tensor
features = tf.parse_single_example(
serialized_example,
features={
'image/class/label': tf.FixedLenFeature([], tf.int64),
'image/encoded': tf.FixedLenFeature([784], tf.float32, default_value=tf.zeros([784], dtype=tf.float32)),
'image/encoded_tostring': tf.FixedLenFeature([], tf.string)
}
)
此時我們得到了一個features，實際上它是一個類似于字典的東西，我們額可以通過字典的方式讀取它內部的內容，而字典的索引就是我們再寫入tfrecord文件時所用的feature。
# 將字符串解析成圖像對應的像素數組 labels = tf.cast(features['image/class/label'], tf.int32) images = tf.cast(features['image/encoded'], tf.float32) images_tostrings = tf.decode_raw(features['image/encoded_tostring'], tf.float32)
最后利用一個循環(huán)輸出：
# 每次運行讀取一個Example。當所有樣例讀取完之后，在此樣例中程序會重頭讀取
for i in range(5):
label, image = sess.run([labels, images])
images_tostring = sess.run(images_tostrings)
print(np.shape(image))
print(np.shape(images_tostring))
print(label)
print("#########################")
測試代碼
1、tfrecords文件的寫入
import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 生成整數的屬性
def _int64_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
# 生成浮點數的屬性
def _float_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(float_list=tf.train.FloatList(value=value))
# 生成字符串型的屬性
def _bytes_feature(value):
if not isinstance(value,list) and not isinstance(value,np.ndarray):
value = [value]
return tf.train.Feature(bytes_list=tf.train.BytesList(value=value))
# 讀取MNIST數據集
mnist = input_data.read_data_sets('./MNIST_data', dtype=tf.float32, one_hot=True)
# 獲得image，shape為(55000,784)
images = mnist.train.images
# 獲得label，shape為(55000,10)
labels = mnist.train.labels
# 獲得一共具有多少張圖片
num_examples = mnist.train.num_examples
# 存儲TFRecord文件的地址
filename = 'record/Mnist_Out.tfrecords'
# 創(chuàng)建一個writer來寫TFRecord文件
writer = tf.python_io.TFRecordWriter(filename)
# 將每張圖片都轉為一個Example，并寫入
for i in range(num_examples):
image_raw = images[i] # 讀取每一幅圖像
image_string = images[i].tostring()
example = tf.train.Example(
features=tf.train.Features(
feature={
'image/class/label': _int64_feature(np.argmax(labels[i])),
'image/encoded': _float_feature(image_raw),
'image/encoded_tostring': _bytes_feature(image_string)
}
)
)
print(i,"/",num_examples)
writer.write(example.SerializeToString()) # 將Example寫入TFRecord文件
print('data processing success')
writer.close()
運行結果為：
……
54993 / 55000
54994 / 55000
54995 / 55000
54996 / 55000
54997 / 55000
54998 / 55000
54999 / 55000
data processing success
2、tfrecords文件的讀取
import tensorflow as tf
import numpy as np
# 創(chuàng)建一個reader來讀取TFRecord文件中的Example
reader = tf.TFRecordReader()
# 創(chuàng)建一個隊列來維護輸入文件列表
filename_queue = tf.train.string_input_producer(['record/Mnist_Out.tfrecords'])
# 從文件中讀出一個Example
_, serialized_example = reader.read(filename_queue)
# 用parse_single_example將讀入的Example解析成tensor
features = tf.parse_single_example(
serialized_example,
features={
'image/class/label': tf.FixedLenFeature([], tf.int64),
'image/encoded': tf.FixedLenFeature([784], tf.float32, default_value=tf.zeros([784], dtype=tf.float32)),
'image/encoded_tostring': tf.FixedLenFeature([], tf.string)
}
)
# 將字符串解析成圖像對應的像素數組
labels = tf.cast(features['image/class/label'], tf.int32)
images = tf.cast(features['image/encoded'], tf.float32)
images_tostrings = tf.decode_raw(features['image/encoded_tostring'], tf.float32)
sess = tf.Session()
# 啟動多線程處理輸入數據
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
# 每次運行讀取一個Example。當所有樣例讀取完之后，在此樣例中程序會重頭讀取
for i in range(5):
label, image = sess.run([labels, images])
images_tostring = sess.run(images_tostrings)
print(np.shape(image))
print(np.shape(images_tostring))
print(label)
print("#########################")
運行結果為：
#########################
(784,)
(784,)
7
#########################
#########################
(784,)
(784,)
4
#########################
#########################
(784,)
(784,)
1
#########################
#########################
(784,)
(784,)
1
#########################
#########################
(784,)
(784,)
9
#########################
以上就是python神經網絡tfrecords文件的寫入讀取及內容解析的詳細內容，更多關于python神經網絡tfrecords寫入讀取的資料請關注腳本之家其它相關文章！
您可能感興趣的文章:
相關文章
這篇文章主要介紹了python中對數據進行各種排序的方法，本文給大家介紹的非常詳細，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-07-07
python中pandas nlargest()的詳細用法小結
df.nlargest()是一個DataFrame的方法,用于返回DataFrame中最大的n個值所在的行,通過調用nlargest()方法,我們返回了分數最高的三個行,并按照降序排列,本文結合實例代碼給大家介紹的非常詳細,需要的朋友參考下吧2023-10-10
Python唯二的難題運行速度和源代碼反編譯,一直是被眾多語言所詬病,下面這篇文章主要給大家介紹了關于如何將python項目打包成exe與安裝包的相關資料,需要的朋友可以參考下2021-11-11
在本篇文章里小編給大家整理了一篇關于python中re.findall函數實例用法相關內容，有興趣的朋友們可以學習下。2021-09-09
這篇文章主要介紹了Python網絡編程詳解，涉及具體代碼示例，還是挺不錯的，這里分享給大家，供需要的朋友參考。2017-10-10
這篇文章主要介紹了Python列表list數組array用法,實例解析了關于數組的各種常見操作,非常具有實用價值,需要的朋友可以參考下2014-10-10
黑洞圖像大家都知道，畢竟前幾年剛發(fā)布的時候曾火遍全網，甚至都做成表情包了。本文就來用Python繪制一個仿黑洞圖像，希望大家能夠喜歡2023-02-02
這篇文章主要介紹了Python使用設計模式中的責任鏈模式與迭代器模式的示例,責任鏈模式與迭代器模式都可以被看作為行為型的設計模式,需要的朋友可以參考下2016-03-03
這篇文章主要介紹了python獲取文件擴展名的方法,涉及Python針對文件路徑的相關操作技巧,非常簡單實用,需要的朋友可以參考下2015-07-07
在Python中,特殊方法（也稱為魔術方法）是由Python解釋器自動調用的,我們不需要手動調用它們,本文小編為大家整理了15個常見特殊方法的實現,希望對大家有所幫助2024-01-01