Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實例代碼
將一份一億多條數(shù)據(jù)的csv文件等分為10份,代碼如下所示:
import pandas as pd data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路徑則根據(jù)個人存放項目文件的習(xí)慣 num = 0 for i in range(1, 11): start = num num = num + int(data.shape[0] / 10) file = data.iloc[start:num,] file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出現(xiàn)序號
注意:如果此時文件的路徑包含有中文,則必須改成以下的代碼:
import pandas as pd f = open('C:\\Users\\PycharmProjects\\數(shù)據(jù)切分\\data\\UserBehavior.csv') data = pd.read_csv(f) num = 0 for i in range(1, 11): start = num num = num + int(data.shape[0] / 10) file = data.iloc[start:num,] file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)
但是使用這種方法調(diào)用文件進(jìn)內(nèi)存,加重了內(nèi)存的負(fù)擔(dān),兩次賦值相當(dāng)于內(nèi)存占用乘2,此方法不建議使用,還是將路徑改為英文名。
總結(jié)
以上所述是小編給大家介紹的Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實例代碼,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!
- 基于python實現(xiàn)對文件進(jìn)行切分行
- Python實現(xiàn)filter函數(shù)實現(xiàn)字符串切分
- python按比例隨機(jī)切分?jǐn)?shù)據(jù)的實現(xiàn)
- Python 最大概率法進(jìn)行漢語切分的方法
- 分享Python切分字符串的一個不錯方法
- python實現(xiàn)根據(jù)文件關(guān)鍵字進(jìn)行切分為多個文件的示例
- Python數(shù)據(jù)集切分實例
- 實例分析python3實現(xiàn)并發(fā)訪問水平切分表
- Ubuntu下使用Python實現(xiàn)游戲制作中的切分圖片功能
- python實現(xiàn)按行切分文本文件的方法
- Python自然語言處理之切分算法詳解
相關(guān)文章
Python連接HDFS實現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作
這篇文章主要介紹了Python連接HDFS實現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06通過python調(diào)用adb命令對App進(jìn)行性能測試方式
這篇文章主要介紹了通過python調(diào)用adb命令對App進(jìn)行性能測試方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04Python實現(xiàn)數(shù)通設(shè)備端口使用情況監(jiān)控實例
這篇文章主要介紹了Python實現(xiàn)數(shù)通設(shè)備端口使用情況監(jiān)控的方法,涉及Python針對設(shè)備監(jiān)控的操作技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07Python實現(xiàn)隨機(jī)取一個矩陣數(shù)組的某幾行
今天小編就為大家分享一篇Python實現(xiàn)隨機(jī)取一個矩陣數(shù)組的某幾行,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11