使用python進行拆分大文件的方法
更新時間：2018年12月10日 08:42:44 作者：IBoyMan
今天小編就為大家分享一篇使用python進行拆分大文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
python按指定行數(shù)把大文件進行拆分
如圖大文件有7000多萬行，大小為16G
需要拆分成多個200萬行的小文件
代碼如下：
# -*- coding:utf-8 -*-
from datetime import datetime
def Main():
source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'
target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'
# 計數(shù)器
flag = 0
# 文件名
name = 1
# 存放數(shù)據(jù)
dataList = []
print("開始。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
with open(source_dir,'r') as f_source:
for line in f_source:
flag+=1
dataList.append(line)
if flag == 2000000:
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
name+=1
flag = 0
dataList = []
# 處理最后一批行數(shù)少于200萬行的
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
print("完成。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
if __name__ == "__main__":
Main()
結(jié)果如下：
總共產(chǎn)生39個文件，最后一個文件行數(shù)760821，這樣就OK啦
經(jīng)測試16G文件所需時間如圖：不到兩分鐘
以上這篇使用python進行拆分大文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
本文主要介紹了python re.match函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
這篇文章主要介紹了Python爬取365好書中小說代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了pytorch 使用半精度模型部署的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要為大家詳細介紹了python多線程方式執(zhí)行多個bat的實現(xiàn)代碼，感興趣的小伙伴們可以參考一下2016-06-06
今天小編就為大家分享一篇使用pycharm生成代碼模板的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Python變量名詳細規(guī)則詳細變量值，Python需要使用標識符給變量命名，其實標識符就是用于給程序中變量、類、方法命名的符號（簡單來說，標識符就是合法的名稱，下面葛小編一起進入文章里哦阿姐更多詳細內(nèi)容吧2022-01-01
機器學習可應(yīng)用在各個方面，本篇將在系統(tǒng)性進入機器學習方向前，初步認識機器學習，利用線性回歸預測波士頓房價，讓我們一起來看看吧2021-04-04
彈出框是自動化測試中一種常見的元素,這種元素通常是客戶端自帶的,下面這篇文章主要給大家介紹了關(guān)于Selenium定位瀏覽器彈窗方法的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了五分鐘學會怎么用Pygame做一個簡單的貪吃蛇，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
這篇文章主要介紹了python爬蟲框架feapde的使用簡介，幫助大家更好的理解和學習使用python爬蟲，感興趣的朋友可以了解下2021-04-04