欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python Numpy中數(shù)據(jù)的常用保存與讀取方法

 更新時間:2020年04月01日 16:34:28   作者:Python探索牛  
這篇文章主要介紹了Python Numpy中數(shù)據(jù)的常用保存與讀取方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下

在經(jīng)常性讀取大量的數(shù)值文件時(比如深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)),可以考慮現(xiàn)將數(shù)據(jù)存儲為Numpy格式,然后直接使用Numpy去讀取,速度相比為轉(zhuǎn)化前快很多.

下面就常用的保存數(shù)據(jù)到二進(jìn)制文件和保存數(shù)據(jù)到文本文件進(jìn)行介紹:

1.保存為二進(jìn)制文件(.npy/.npz)

numpy.save

保存一個數(shù)組到一個二進(jìn)制的文件中,保存格式是.npy

參數(shù)介紹

numpy.save(file, arr, allow_pickle=True, fix_imports=True)
file:文件名/文件路徑
arr:要存儲的數(shù)組
allow_pickle:布爾值,允許使用Python pickles保存對象數(shù)組(可選參數(shù),默認(rèn)即可)
fix_imports:為了方便Pyhton2中讀取Python3保存的數(shù)據(jù)(可選參數(shù),默認(rèn)即可)

使用

>>> import numpy as np 
#生成數(shù)據(jù) 
>>> x=np.arange(10) 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
 
#數(shù)據(jù)保存 
>>> np.save('save_x',x) 
 
#讀取保存的數(shù)據(jù) 
>>> np.load('save_x.npy') 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
numpy.savez

這個同樣是保存數(shù)組到一個二進(jìn)制的文件中,但是厲害的是,它可以保存多個數(shù)組到同一個文件中,保存格式是.npz,它其實就是多個前面np.save的保存的npy,再通過打包(未壓縮)的方式把這些文件歸到一個文件上,不行你去解壓npz文件就知道了,里面是就是自己保存的多個npy.

參數(shù)介紹

numpy.savez(file, *args, **kwds)
file:文件名/文件路徑
*args:要存儲的數(shù)組,可以寫多個,如果沒有給數(shù)組指定Key,Numpy將默認(rèn)從'arr_0','arr_1'的方式命名
kwds:(可選參數(shù),默認(rèn)即可)

使用

>>> import numpy as np 
#生成數(shù)據(jù) 
>>> x=np.arange(10) 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> y=np.sin(x) 
>>> y 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 
  
#數(shù)據(jù)保存 
>>> np.save('save_xy',x,y) 
 
#讀取保存的數(shù)據(jù) 
>>> npzfile=np.load('save_xy.npz') 
>>> npzfile #是一個對象,無法讀取 
<numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> 
 
#按照組數(shù)默認(rèn)的key進(jìn)行訪問 
>>> npzfile['arr_0'] 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> npzfile['arr_1'] 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 

更加神奇的是,你可以不適用Numpy默認(rèn)給數(shù)組的Key,而是自己給數(shù)組有意義的Key,這樣就可以不用去猜測自己加載數(shù)據(jù)是否是自己需要的.

#數(shù)據(jù)保存 
>>> np.savez('newsave_xy',x=x,y=y) 
 
#讀取保存的數(shù)據(jù) 
>>> npzfile=np.load('newsave_xy.npz') 
 
#按照保存時設(shè)定組數(shù)key進(jìn)行訪問 
>>> npzfile['x'] 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> npzfile['y'] 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 

簡直不能太爽,深度學(xué)習(xí)中,有時候你保存了訓(xùn)練集,驗證集,測試集,還包括他們的標(biāo)簽,用這個方式存儲起來,要啥加載啥,文件數(shù)量大大減少,也不會到處改文件名去.

numpy.savez_compressed

這個就是在前面numpy.savez的基礎(chǔ)上加了壓縮,前面我介紹時尤其注明numpy.savez是得到的文件打包,不壓縮的.這個文件就是對文件進(jìn)行打包時使用了壓縮,可以理解為壓縮前各npy的文件大小不變,使用該函數(shù)比前面的numpy.savez得到的npz文件更小.

注:函數(shù)所需參數(shù)和numpy.savez一致,用法完成一樣.

2.保存到文本文件

numpy.savetxt

保存數(shù)組到文本文件上,可以直接打開查看文件里面的內(nèi)容.

參數(shù)介紹

numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)
fname:文件名/文件路徑,如果文件后綴是.gz,文件將被自動保存為.gzip格式,np.loadtxt可以識別該格式
X:要存儲的1D或2D數(shù)組
fmt:控制數(shù)據(jù)存儲的格式
delimiter:數(shù)據(jù)列之間的分隔符
newline:數(shù)據(jù)行之間的分隔符
header:文件頭步寫入的字符串
footer:文件底部寫入的字符串
comments:文件頭部或者尾部字符串的開頭字符,默認(rèn)是'#'
encoding:使用默認(rèn)參數(shù)

使用

>>> import numpy as np 
#生成數(shù)據(jù) 
>>> x = y = z = np.ones((2,3)) 
>>> x 
array([[1., 1., 1.], 
  [1., 1., 1.]]) 
  
#保存數(shù)據(jù) 
np.savetxt('test.out', x) 
np.savetxt('test1.out', x,fmt='%1.4e') 
np.savetxt('test2.out', x, delimiter=',') 
np.savetxt('test3.out', x,newline='a') 
np.savetxt('test4.out', x,delimiter=',',newline='a') 
np.savetxt('test5.out', x,delimiter=',',header='abc') 
np.savetxt('test6.out', x,delimiter=',',footer='abc') 

保存下來的文件都是友好的,可以直接打開看看有什么變化.

numpy.loadtxt

根據(jù)前面定制的保存格式,相應(yīng)的加載數(shù)據(jù)的函數(shù)也得變化.

參數(shù)介紹

numpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')
fname:文件名/文件路徑,如果文件后綴是.gz或.bz2,文件將被解壓,然后再載入
dtype:要讀取的數(shù)據(jù)類型
comments:文件頭部或者尾部字符串的開頭字符,用于識別頭部,尾部字符串
delimiter:劃分讀取上來值的字符串
converters:數(shù)據(jù)行之間的分隔符
.......后面不常用的就不寫了

使用

np.loadtxt('test.out') 
np.loadtxt('test2.out', delimiter=',') 

總結(jié)

到此這篇關(guān)于Python Numpy中數(shù)據(jù)的常用保存與讀取方法的文章就介紹到這了,更多相關(guān)python numpy 數(shù)據(jù)保存讀取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python調(diào)用VBA實現(xiàn)保留原始樣式的表格合并方法

    Python調(diào)用VBA實現(xiàn)保留原始樣式的表格合并方法

    本文主要介紹了Python調(diào)用VBA實現(xiàn)保留原始樣式的表格合并方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-01-01
  • Python并發(fā)concurrent.futures和asyncio實例

    Python并發(fā)concurrent.futures和asyncio實例

    這篇文章主要介紹了Python并發(fā)concurrent.futures和asyncio實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作

    python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作

    這篇文章主要介紹了python保存大型 .mat 數(shù)據(jù)文件報錯超出 IO 限制的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-05-05
  • Python實現(xiàn)的多叉樹尋找最短路徑算法示例

    Python實現(xiàn)的多叉樹尋找最短路徑算法示例

    這篇文章主要介紹了Python實現(xiàn)的多叉樹尋找最短路徑算法,結(jié)合實例形式分析了Python使用深度優(yōu)先查找獲取多叉樹最短路徑相關(guān)操作技巧,需要的朋友可以參考下
    2018-07-07
  • Python學(xué)習(xí)筆記之Break和Continue用法分析

    Python學(xué)習(xí)筆記之Break和Continue用法分析

    這篇文章主要介紹了Python學(xué)習(xí)筆記之Break和Continue用法,結(jié)合實例形式分析了Python中Break和Continue的功能、使用方法、區(qū)別及相關(guān)操作注意事項,需要的朋友可以參考下
    2019-08-08
  • Python中正則表達(dá)式的用法實例匯總

    Python中正則表達(dá)式的用法實例匯總

    這篇文章主要介紹了Python中正則表達(dá)式的用法實例匯總,非常實用,需要的朋友可以參考下
    2014-08-08
  • Python+OpenCV實現(xiàn)邊緣檢測與角點檢測詳解

    Python+OpenCV實現(xiàn)邊緣檢測與角點檢測詳解

    這篇文章主要為大家詳細(xì)介紹了如何通過Python+OpenCV實現(xiàn)邊緣檢測與角點檢測,文中的示例代碼講解詳細(xì),對我們學(xué)習(xí)Python與OpenCV有一定的幫助,需要的可以參考一下
    2023-02-02
  • python-redis-lock實現(xiàn)鎖自動續(xù)期的源碼邏輯

    python-redis-lock實現(xiàn)鎖自動續(xù)期的源碼邏輯

    這篇文章主要介紹了python-redis-lock實現(xiàn)鎖自動續(xù)期的源碼邏輯,其中用到了多線程threading、弱引用weakref和Lua腳本等相關(guān)知識,需要的朋友可以參考下
    2024-07-07
  • Django 模板中常用的過濾器實現(xiàn)

    Django 模板中常用的過濾器實現(xiàn)

    在模版中,有時候需要對一些數(shù)據(jù)進(jìn)行處理以后才能使用。一般在Python中我們是通過函數(shù)的形式來完成的。而在模版中,則是通過過濾器來實現(xiàn)的,本文就來介紹一下如何實現(xiàn)
    2021-05-05
  • python實現(xiàn)單機五子棋

    python實現(xiàn)單機五子棋

    這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)單機五子棋,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-08-08

最新評論