欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pandas數(shù)據(jù)集的分塊讀取的實現(xiàn)

 更新時間：2022年08月08日 15:06:09   作者：文程公子  
本文主要介紹了Pandas數(shù)據(jù)集的分塊讀取的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

所謂“分塊”，顧名思義，就是將數(shù)據(jù)集分成幾塊進行讀取，比如有105條數(shù)據(jù)，一次讀取10條，讀取11次才能全部讀完。以下提供兩種分塊讀取的方法，兩種方法各有優(yōu)劣。

一、直接用分塊方式讀取數(shù)據(jù)集文件（更直接）

分塊讀取數(shù)據(jù)集文件是指用read_xxx()方法讀取存儲數(shù)據(jù)的文件時采用分塊的方式，這里以.csv文件為例，在read_csv()中加入chunksize參數(shù)即可實現(xiàn)分塊讀?。?/p> 

reader = pd.read_csv('某招聘網(wǎng)站數(shù)據(jù).csv', usecols = ['positionId', 'companyId', 'positionName', 'skillLables'],
                     chunksize=10)

此時，返回的reader不是DataFrame，而是一個可迭代對象（iteration），需要注意的是，這個可迭代對象不能用下標(biāo)訪問。 下面遍歷這個對象：

for r in reader:
    print(r)

遍歷結(jié)果如下圖所示：

這種分塊讀取方式比較直接，但是由于一開始就定義了分塊大小，后續(xù)處理起來不夠靈活。因此提供了第二種讀取方法。

二、先將數(shù)據(jù)集讀取為可迭代對象，再分塊讀取（更靈活）

 這種方法將數(shù)據(jù)集文件讀取為時可迭代對象不定義分塊，用分塊的方式讀取read_csv()方法返回的可迭代對象。實現(xiàn)第一步要在read_csv()方法中指定參數(shù)iterator為True：

reader = pd.read_csv('某招聘網(wǎng)站數(shù)據(jù).csv', usecols = ['positionId', 'companyId', 'positionName'],
                    iterator=True)

以下是用分塊方式遍歷reader，注意使用到的get_chunk()方法和里面的參數(shù)，參數(shù)定義分塊大小，可以靈活調(diào)節(jié)：

while True:
    try:
        print(reader.get_chunk(10))
    except StopIteration:
        break

總結(jié)

綜上所述，兩種方法都能用pandas實現(xiàn)數(shù)據(jù)的分塊讀取，對于數(shù)據(jù)量較大的數(shù)據(jù)集還是比較實用的。兩種方法的優(yōu)劣體現(xiàn)在直接性和靈活性上，可以根據(jù)實際需求自行選擇。

到此這篇關(guān)于Pandas數(shù)據(jù)集的分塊讀取的實現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas數(shù)據(jù)集分塊讀取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評論