欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何使用pandas對(duì)超大csv文件進(jìn)行快速拆分詳解

 更新時(shí)間:2022年07月04日 16:35:27   作者:coder1479  
Pandas是Python語言的一個(gè)擴(kuò)展程序庫,提供高性能、易于使用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具,下面這篇文章主要給大家介紹了關(guān)于如何使用pandas對(duì)超大csv文件進(jìn)行快速拆分的相關(guān)資料,需要的朋友可以參考下

前言

本文介紹如何利用pandas對(duì)超大CSV文件進(jìn)行快速拆分。

1. 操作步驟

1.1 安裝pandas

pip install pandas

1.2 拆分大文件

import pandas as pd

# 讀取csv文件
df = pd.read_csv("../super_big.csv")

# 獲取文件總行數(shù)
row_num = len(df)

# 確定每個(gè)小文件要包含的數(shù)據(jù)量
step = 400

for start in range(0, row_num, step):
    stop = start + step
    filename = "./small_{}-{}.csv".format(start, stop)
    d = df[start: stop]
    print("Saving file : " + filename + ", data size : " + str(len(d)))
    d.to_csv(fname, index=None)

# 輸出如下
# Saving file : ./small_0-500.csv, data size : 500
# Saving file : ./small_500-1000.csv, data size : 500

代碼就這么簡單。

2. 再多了解一點(diǎn)兒

2.1 pandas讀取csv文件后,返回的是什么類型?

import pandas
df = pandas.read_csv('./super_big.csv')
type(df)

<class 'pandas.core.frame.DataFrame'>

2.2 如何從DataFrame中讀取某一行呢?

# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])

2.3 如何從DataFrame讀取多行呢?

 d = df[start: stop]

2.4 如何從DataFrame中讀取某一列呢?

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
print(df["name"])

#0    peter
#1     rose
#2      joe
#Name: name, dtype: object

2.5 如何用pandas讀寫CSV文件?

df = pd.read_csv("YOUT_CSV_FILE.csv")

df.to_csv(fname, index=None)

注意:index默認(rèn)是True,意思是保存行索引,這時(shí)候需要一個(gè)例子。

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
df.to_csv("a.csv")

# 文件內(nèi)容如下,注意每行的開頭自動(dòng)添加了行索引,從0開始遞增
,name,career
0,peter,teacher
1,rose,engineer
2,joe,doctor

2.6 關(guān)于pandas

pandas是一款快速、強(qiáng)大、靈活且易于使用的開源數(shù)據(jù)分析和操作工具,建立在Python編程語言之上。用了都說好。

3. 小結(jié)

其實(shí)pandas處理csv文件的方法還有很多,功能非常強(qiáng)大,僅僅是數(shù)據(jù)切分,就有很多方法,有需要的時(shí)候,可以去看看文檔。

到此這篇關(guān)于如何使用pandas對(duì)超大csv文件進(jìn)行快速拆分的文章就介紹到這了,更多相關(guān)pandas拆分csv文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 用python制作個(gè)論文下載器(圖形化界面)

    用python制作個(gè)論文下載器(圖形化界面)

    這篇文章主要介紹了用python制作個(gè)論文下載器(圖形化界面),幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下
    2021-03-03
  • ?python用matplotlib可視化繪圖詳解

    ?python用matplotlib可視化繪圖詳解

    這篇文章主要介紹了?python用matplotlib可視化繪圖詳解,Matplotlib?是一個(gè)python的?2D繪圖庫,它以各種硬拷貝格式和跨平臺(tái)的交互式環(huán)境生成出版質(zhì)量級(jí)別的圖形,下面我們就來看看關(guān)于matplotlib可視化繪圖的詳細(xì)過程吧
    2022-01-01
  • python 實(shí)現(xiàn)長數(shù)據(jù)完整打印方案

    python 實(shí)現(xiàn)長數(shù)據(jù)完整打印方案

    這篇文章主要介紹了python 實(shí)現(xiàn)長數(shù)據(jù)完整打印方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • Python 中多態(tài)性的示例和類的繼承多態(tài)性詳解

    Python 中多態(tài)性的示例和類的繼承多態(tài)性詳解

    多態(tài)性通常在類的方法中使用,其中我們可以具有相同方法名稱的多個(gè)類,本文給大家介紹Python 中多態(tài)性的示例和類的繼承多態(tài)性詳解,需要的朋友可以參考下
    2023-10-10
  • python生成日歷實(shí)例解析

    python生成日歷實(shí)例解析

    這篇文章主要介紹了python生成日歷的方法,實(shí)用了python自帶的 calendar模塊加以實(shí)現(xiàn),需要的朋友可以參考下
    2014-08-08
  • Python BentoML構(gòu)建部署和管理機(jī)器學(xué)習(xí)模型技巧掌握

    Python BentoML構(gòu)建部署和管理機(jī)器學(xué)習(xí)模型技巧掌握

    BentoML是一個(gè)開源的Python框架,旨在簡化機(jī)器學(xué)習(xí)模型的打包、部署和管理,本文將深入介紹BentoML的功能和用法,提供詳細(xì)的示例代碼和解釋,幫助你更好地理解和應(yīng)用這個(gè)強(qiáng)大的工具
    2024-01-01
  • 淺談Python中函數(shù)的參數(shù)傳遞

    淺談Python中函數(shù)的參數(shù)傳遞

    下面小編就為大家?guī)硪黄獪\談Python中函數(shù)的參數(shù)傳遞。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2016-06-06
  • Python如何去除字符串中不需要的字符

    Python如何去除字符串中不需要的字符

    這篇文章主要介紹了Python如何去除字符串中不需要的字符問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • 5分鐘 Pipenv 上手指南

    5分鐘 Pipenv 上手指南

    這篇文章主要介紹了5分鐘 Pipenv 上手指南,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-12-12
  • Python字符串本身作為bytes進(jìn)行解碼的問題

    Python字符串本身作為bytes進(jìn)行解碼的問題

    這篇文章主要介紹了解決Python字符串本身作為bytes進(jìn)行解碼的問題,文末給大家補(bǔ)充介紹了,Python字符串如何轉(zhuǎn)為bytes對(duì)象?Python字符串和bytes類型怎么互轉(zhuǎn),需要的朋友可以參考下
    2022-11-11

最新評(píng)論