欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作

 更新時間:2021年05月10日 16:34:31   作者:ON_THE_WAY_FOREVER  
這篇文章主要介紹了python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內(nèi),如果需要保存幾十個 G 的數(shù)據(jù)的話,可以選用其他方式,

比如 h5 文件

import h5py
def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag):
    print("h5py文件正在寫入磁盤...")
    
    save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5"
    with h5py.File(save_path, 'w') as f:
        f.create_dataset('train_data', data=train_data)
        f.create_dataset('train_label', data=train_label)
        f.create_dataset('test_data', data=test_data)
        f.create_dataset('test_label', data=test_label)
    print("h5py文件保存成功!")
def h5_data_read(filename):
    """
        keys() : 獲取本文件夾下所有的文件及文件夾的名字
        f['key_name'] : 獲取對應(yīng)的對象
    """
    file = h5py.File(filename,'r')
    train_data = file['train_data'][:]
    train_label = file['train_label'][:]
    test_data = file['test_data'][:]
    test_label = file['test_label'][:]
    return train_data, train_label, test_data, test_label

補充:通過python 讀MATLAB數(shù)據(jù)文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產(chǎn)生結(jié)果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產(chǎn)生的結(jié)果信息也需要matlab來做進一步的處理(當(dāng)然也可以使用txt,不嫌麻煩自己處理結(jié)構(gòu)信息)。

介紹

matlab和python間的數(shù)據(jù)傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數(shù),可以很好的對.mat文件的數(shù)據(jù)進行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個函數(shù)loadmat和savemat來讀寫.mat文件。

下面是一個簡單的測試程序

具體的函數(shù)用法可以看幫助文檔:

import scipy.io as sio 
import matplotlib.pyplot as plt 
import numpy as np 
 
#matlab文件名 
matfn=u'E:/python/測試程序/162250671_162251656_1244.mat' 
data=sio.loadmat(matfn) 
 
plt.close('all') 
xi=data['xi'] 
yi=data['yi'] 
ui=data['ui'] 
vi=data['vi'] 
plt.figure(1) 
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) 
plt.figure(2) 
plt.contourf(xi,yi,ui) 
plt.show()  
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi}) 

示例2

import scipy.io as sio
import numpy as np
 
###下面是講解python怎么讀取.mat文件以及怎么處理得到的結(jié)果###
load_fn = 'xxx.mat'
load_data = sio.loadmat(load_fn)
load_matrix = load_data['matrix'] #假設(shè)文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當(dāng)然可以保存多個save(load_fn, 'matrix_x', 'matrix_y', ...);
load_matrix_row = load_matrix[0] #取了當(dāng)時matlab中matrix的第一行,python中數(shù)組行排列
 
###下面是講解python怎么保存.mat文件供matlab程序使用###
save_fn = 'xxx.mat'
save_array = np.array([1,2,3,4])
sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在了array變量的第一行
 
save_array_x = np.array([1,2,3,4])
save_array_y = np.array([5,6,7,8])
sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,

鑒于以后的目標(biāo)主要是利用現(xiàn)有的Matlab數(shù)據(jù)(.mat或者.txt),主要考慮python導(dǎo)入Matlab數(shù)據(jù)的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個函數(shù)loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087
import scipy.io as sio  
#import matplotlib.pyplot as plt
from pylab import *
import numpy as np   
 
matfn='E:\\Pythonrun\\myuse\\matdata.mat'   # the path of .mat data
data=sio.loadmat(matfn)  
xx=data['matdata']
figure(1)
plot(xx)
show()

以下代碼是讀入txt數(shù)據(jù)并轉(zhuǎn)換成數(shù)組,方法比較笨,更有效的方法待研究。

from numpy import * 
def file2list(filename):  

    fr = open(filename)  
    array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表  
    num = len(array)  
    returnMat = zeros((num,3))#初始化元素為0的,行號數(shù)個列表,其中每個元素仍是列表,元素數(shù)是3,在此表示矩陣  
    index = 0   
 
    for line in array:  
        line = line.strip()#去掉一行后的回車符號  
        linelist = line.split(' ')#將一行根據(jù)分割符,劃分成多個元素的列表  
        returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙  
        index +=1  
    return returnMat
 
fname = 'E:\\Pythonrun\\myuse\\num_data.txt'
data= file2list(fname)

補充:Python 讀寫 Matlab Mat 格式數(shù)據(jù)

1. 非 matlab v7.3 files 讀寫

import scipy.io as sio
import numpy
# matFile 讀取
matFile = 'matlabdata.mat'
datas = sio.loadmat(matFile)
# 加載 matFile 內(nèi)的數(shù)據(jù)
# 假設(shè) mat 內(nèi)保存的變量為 matlabdata
matlabdata = datas['matlabdata']
# matFile 寫入
save_matFile = 'save_matlabdata.mat'
save_matlabdata = np.array([1,2,3,4,5])
sio.savemat(save_matFile, {'array':save_matlabdata})

2. matlab v7.3 files 讀取

如果 matlab 保存 data 時,采用的是 ‘-v7.3',scipy.io.loadmat函數(shù)加載數(shù)據(jù)會出現(xiàn)錯誤:

File "/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py", line 64, in mat_reader_factory
    raise NotImplementedError('Please use HDF reader for matlab v7.3 files')
NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5py
with h5py.File('matlabdata.mat', 'r') as f:
    f.keys() # matlabdata.mat 中的變量名
datas = h5py.File('matlabdata.mat')['matlabdata'].value

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

相關(guān)文章

  • Python中hashlib模塊的摘要算法詳解

    Python中hashlib模塊的摘要算法詳解

    這篇文章主要介紹了Python中hashlib模塊的摘要算法詳解,摘要算法又稱哈希算法、散列算法,它通過一個函數(shù),把任意長度的數(shù)據(jù)轉(zhuǎn)換為一個長度固定的數(shù)據(jù)串,通常用16進制的字符串表示,需要的朋友可以參考下
    2023-08-08
  • 使用Python去除小數(shù)點后面多余的0問題

    使用Python去除小數(shù)點后面多余的0問題

    這篇文章主要介紹了使用Python去除小數(shù)點后面多余的0問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Sublime如何配置Python3運行環(huán)境

    Sublime如何配置Python3運行環(huán)境

    這篇文章主要介紹了Sublime如何配置Python3運行環(huán)境問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-11-11
  • python3列表刪除大量重復(fù)元素remove()方法的問題詳解

    python3列表刪除大量重復(fù)元素remove()方法的問題詳解

    這篇文章主要給大家介紹了關(guān)于python3列表刪除大量重復(fù)元素remove()方法的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Django獲取model中的字段名和字段的verbose_name方式

    Django獲取model中的字段名和字段的verbose_name方式

    這篇文章主要介紹了Django獲取model中的字段名和字段的verbose_name方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Win8下python3.5.1安裝教程

    Win8下python3.5.1安裝教程

    這篇文章主要為大家詳細介紹了Win8下python3.5.1安裝教程,文中安裝步驟介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • 一文解密Python中的垃圾回收

    一文解密Python中的垃圾回收

    我們知道,python?是一種高級編程語言,它提供了自動內(nèi)存管理的功能,即垃圾回收機制,所以本文就來聊聊python的垃圾回收機制是如何實現(xiàn)的以及具體是使用,感興趣的可以了解下
    2023-09-09
  • pycharm實現(xiàn)在虛擬環(huán)境中引入別人的項目

    pycharm實現(xiàn)在虛擬環(huán)境中引入別人的項目

    這篇文章主要介紹了pycharm實現(xiàn)在虛擬環(huán)境中引入別人的項目,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • python 實現(xiàn)語音聊天機器人的示例代碼

    python 實現(xiàn)語音聊天機器人的示例代碼

    這篇文章主要介紹了python 實現(xiàn)語音聊天機器人的示例代碼,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-12-12
  • python三種數(shù)據(jù)結(jié)構(gòu)及13種創(chuàng)建方法總結(jié)

    python三種數(shù)據(jù)結(jié)構(gòu)及13種創(chuàng)建方法總結(jié)

    拿Python來說,數(shù)據(jù)結(jié)構(gòu)的概念也是超級重要,不同的數(shù)據(jù)結(jié)構(gòu),有著不同的函數(shù),供我們調(diào)用,接下來,我們分別來介紹字符串、列表、字典的創(chuàng)建方法
    2021-09-09

最新評論