這篇文章給大家分享的是tfrecords格式是什么，寫入與讀取是怎樣的。小編覺得挺實(shí)用的，因此分享給大家做個參考，文中的介紹得很詳細(xì)，而要易于理解和學(xué)習(xí)，有需要的朋友可以參考，接下來就跟隨小編一起了解看看吧。

學(xué)習(xí)前言

前一段時間對SSD預(yù)測與訓(xùn)練的整體框架有了一定的了解，但是對其中很多細(xì)節(jié)還是把握的不清楚。今天我決定好好了解以下tfrecords文件的構(gòu)造。

tfrecords格式是什么

tfrecords是一種二進(jìn)制編碼的文件格式，tensorflow專用。能將任意數(shù)據(jù)轉(zhuǎn)換為tfrecords。更好的利用內(nèi)存，更方便復(fù)制和移動，并且不需要單獨(dú)的標(biāo)簽文件。

之所以使用到tfrecords格式是因?yàn)楫?dāng)今數(shù)據(jù)爆炸的情況下，使用普通的數(shù)據(jù)格式不僅麻煩，而且速度慢，這種專門為tensorflow定制的數(shù)據(jù)格式可以大大增快數(shù)據(jù)的讀取，而且將所有內(nèi)容規(guī)整，在保證速度的情況下，使得數(shù)據(jù)更加簡單明晰。

tfrecords的寫入

這個例子將會講述如何將MNIST數(shù)據(jù)集寫入到tfrecords，本次用到的MNIST數(shù)據(jù)集會利用tensorflow原有的庫進(jìn)行導(dǎo)入。

from tensorflow.examples.tutorials.mnist import input_data
# 讀取MNIST數(shù)據(jù)集
mnist = input_data.read_data_sets('./MNIST_data', dtype=tf.float32, one_hot=True)

對于MNIST數(shù)據(jù)集而言，其中的訓(xùn)練集是mnist.train，而它的數(shù)據(jù)可以分為images和labels，可通過如下方式獲得。

# 獲得image，shape為(55000,784)
images = mnist.train.images
# 獲得label，shape為(55000,10)
labels = mnist.train.labels
# 獲得一共具有多少張圖片
num_examples = mnist.train.num_examples

接下來定義存儲TFRecord文件的地址，同時創(chuàng)建一個writer來寫TFRecord文件。

# 存儲TFRecord文件的地址
filename = 'record/output.tfrecords'
# 創(chuàng)建一個writer來寫TFRecord文件
writer = tf.python_io.TFRecordWriter(filename)

此時便可以按照一定的格式寫入了，此時需要對每一張圖片進(jìn)行循環(huán)并寫入，在tf.train.Features中利用features字典定義了數(shù)據(jù)保存的方式。以image_raw為例，其經(jīng)過函數(shù)_float_feature處理后，存儲到tfrecords文件的’image/encoded’位置上。

# 將每張圖片都轉(zhuǎn)為一個Example，并寫入
for i in range(num_examples):
    image_raw = images[i]  # 讀取每一幅圖像
    image_string = images[i].tostring()
    example = tf.train.Example(
        features=tf.train.Features(
            feature={
                'image/class/label': _int64_feature(np.argmax(labels[i])),
                'image/encoded': _float_feature(image_raw),
                'image/encoded_tostring': _bytes_feature(image_string)
            }
        )
    )
    print(i,"/",num_examples)
    writer.write(example.SerializeToString())  # 將Example寫入TFRecord文件

在最終存入前，數(shù)據(jù)還需要經(jīng)過處理，處理方式如下：

# 生成整數(shù)的屬性
def _int64_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
# 生成浮點(diǎn)數(shù)的屬性
def _float_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(float_list=tf.train.FloatList(value=value))
# 生成字符串型的屬性
def _bytes_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=value))

tfrecords的讀取

tfrecords的讀取首先要創(chuàng)建一個reader來讀取TFRecord文件中的Example。

# 創(chuàng)建一個reader來讀取TFRecord文件中的Example
reader = tf.TFRecordReader()

再創(chuàng)建一個隊(duì)列來維護(hù)輸入文件列表。

# 創(chuàng)建一個隊(duì)列來維護(hù)輸入文件列表
filename_queue = tf.train.string_input_producer(['record/output.tfrecords'])

利用reader讀取輸入文件列表隊(duì)列，并用parse_single_example將讀入的Example解析成tensor

# 從文件中讀出一個Example
_, serialized_example = reader.read(filename_queue)
# 用parse_single_example將讀入的Example解析成tensor
features = tf.parse_single_example(
    serialized_example,
    features={
        'image/class/label': tf.FixedLenFeature([], tf.int64),
        'image/encoded': tf.FixedLenFeature([784], tf.float32, default_value=tf.zeros([784], dtype=tf.float32)),
        'image/encoded_tostring': tf.FixedLenFeature([], tf.string)
    }
)

此時我們得到了一個features，實(shí)際上它是一個類似于字典的東西，我們額可以通過字典的方式讀取它內(nèi)部的內(nèi)容，而字典的索引就是我們再寫入tfrecord文件時所用的feature。

# 將字符串解析成圖像對應(yīng)的像素數(shù)組
labels = tf.cast(features['image/class/label'], tf.int32)
images = tf.cast(features['image/encoded'], tf.float32)
images_tostrings = tf.decode_raw(features['image/encoded_tostring'], tf.float32)

最后利用一個循環(huán)輸出：

# 每次運(yùn)行讀取一個Example。當(dāng)所有樣例讀取完之后，在此樣例中程序會重頭讀取
for i in range(5):
    label, image = sess.run([labels, images])
    images_tostring = sess.run(images_tostrings)
    print(np.shape(image))
    print(np.shape(images_tostring))
    print(label)
    print("#########################")

測試代碼

1、tfrecords文件的寫入

import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 生成整數(shù)的屬性
def _int64_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
# 生成浮點(diǎn)數(shù)的屬性
def _float_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(float_list=tf.train.FloatList(value=value))
# 生成字符串型的屬性
def _bytes_feature(value):
    if not isinstance(value,list) and not isinstance(value,np.ndarray):
        value = [value]
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=value))
# 讀取MNIST數(shù)據(jù)集
mnist = input_data.read_data_sets('./MNIST_data', dtype=tf.float32, one_hot=True)
# 獲得image，shape為(55000,784)
images = mnist.train.images
# 獲得label，shape為(55000,10)
labels = mnist.train.labels
# 獲得一共具有多少張圖片
num_examples = mnist.train.num_examples
# 存儲TFRecord文件的地址
filename = 'record/Mnist_Out.tfrecords'
# 創(chuàng)建一個writer來寫TFRecord文件
writer = tf.python_io.TFRecordWriter(filename)
# 將每張圖片都轉(zhuǎn)為一個Example，并寫入
for i in range(num_examples):
    image_raw = images[i]  # 讀取每一幅圖像
    image_string = images[i].tostring()
    example = tf.train.Example(
        features=tf.train.Features(
            feature={
                'image/class/label': _int64_feature(np.argmax(labels[i])),
                'image/encoded': _float_feature(image_raw),
                'image/encoded_tostring': _bytes_feature(image_string)
            }
        )
    )
    print(i,"/",num_examples)
    writer.write(example.SerializeToString())  # 將Example寫入TFRecord文件
print('data processing success')
writer.close()

運(yùn)行結(jié)果為：

……
54993 / 55000
54994 / 55000
54995 / 55000
54996 / 55000
54997 / 55000
54998 / 55000
54999 / 55000
data processing success

2、tfrecords文件的讀取

import tensorflow as tf
import numpy as np
# 創(chuàng)建一個reader來讀取TFRecord文件中的Example
reader = tf.TFRecordReader()
# 創(chuàng)建一個隊(duì)列來維護(hù)輸入文件列表
filename_queue = tf.train.string_input_producer(['record/Mnist_Out.tfrecords'])
# 從文件中讀出一個Example
_, serialized_example = reader.read(filename_queue)
# 用parse_single_example將讀入的Example解析成tensor
features = tf.parse_single_example(
    serialized_example,
    features={
        'image/class/label': tf.FixedLenFeature([], tf.int64),
        'image/encoded': tf.FixedLenFeature([784], tf.float32, default_value=tf.zeros([784], dtype=tf.float32)),
        'image/encoded_tostring': tf.FixedLenFeature([], tf.string)
    }
)
# 將字符串解析成圖像對應(yīng)的像素數(shù)組
labels = tf.cast(features['image/class/label'], tf.int32)
images = tf.cast(features['image/encoded'], tf.float32)
images_tostrings = tf.decode_raw(features['image/encoded_tostring'], tf.float32)
sess = tf.Session()
# 啟動多線程處理輸入數(shù)據(jù)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
# 每次運(yùn)行讀取一個Example。當(dāng)所有樣例讀取完之后，在此樣例中程序會重頭讀取
for i in range(5):
    label, image = sess.run([labels, images])
    images_tostring = sess.run(images_tostrings)
    print(np.shape(image))
    print(np.shape(images_tostring))
    print(label)
    print("#########################")

運(yùn)行結(jié)果為：

#########################
(784,)
(784,)
7
#########################
#########################
(784,)
(784,)
4
#########################
#########################
(784,)
(784,)
1
#########################
#########################
(784,)
(784,)
1
#########################
#########################
(784,)
(784,)
9
#########################

感謝各位的閱讀，以上就是“tfrecords格式是什么，寫入與讀取是怎樣的”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對tfrecords格式是什么，寫入與讀取是怎樣的都有更深刻的體會了吧。這里是群英網(wǎng)絡(luò)，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：[email protected]進(jìn)行舉報，并提供相關(guān)證據(jù)，查實(shí)之后，將立刻刪除涉嫌侵權(quán)內(nèi)容。

猜你喜歡

• Python datetime模塊中有什么，怎樣使用

  Python中常用于時間的模塊有time、datetime?和?calendar，顧名思義?time?是表示時間（時、分、秒、毫秒）等，calendar?是表示日歷時間的，本章先討論?datetime?模塊,需要的朋友可以參考下

• pytorch禁止計算局部梯度有幾種方式，具體怎樣做

  這篇文章主要介紹了pytorch 禁止/允許計算局部梯度的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

• Python錯誤情況該怎樣做，解決方法是什么

  這篇文章主要介紹了python出現(xiàn)RuntimeError錯誤問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

• python深拷貝、淺拷貝和對象賦值有什么不同呢

  這篇文章主要介紹了Python深拷貝與淺拷貝引用，Python并沒有拷貝這個對象，而只是拷貝了這個對象的引用，下文具體的相關(guān)介紹需要的小伙伴可以參考一下

• 用python怎樣實(shí)現(xiàn)圖片轉(zhuǎn)字符畫的效果？

  用python怎樣實(shí)現(xiàn)圖片轉(zhuǎn)字符畫的效果？相信不少朋友應(yīng)該都有看過用一些字符組成起來圖片的，放大來看是一個字符，全圖來看又是一副完整圖片，是不是很有意思呢？那么這樣的效果是怎樣實(shí)現(xiàn)的呢？下面和小編一起來看看吧。