使用python進(jìn)行拆分大文件的方法
更新時(shí)間：2018年12月10日 08:42:44 作者：IBoyMan
今天小編就為大家分享一篇使用python進(jìn)行拆分大文件的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
python按指定行數(shù)把大文件進(jìn)行拆分
如圖大文件有7000多萬行，大小為16G
需要拆分成多個(gè)200萬行的小文件
代碼如下：
# -*- coding:utf-8 -*-
from datetime import datetime
def Main():
source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'
target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'
# 計(jì)數(shù)器
flag = 0
# 文件名
name = 1
# 存放數(shù)據(jù)
dataList = []
print("開始。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
with open(source_dir,'r') as f_source:
for line in f_source:
flag+=1
dataList.append(line)
if flag == 2000000:
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
name+=1
flag = 0
dataList = []
# 處理最后一批行數(shù)少于200萬行的
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
print("完成。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
if __name__ == "__main__":
Main()
結(jié)果如下：
總共產(chǎn)生39個(gè)文件，最后一個(gè)文件行數(shù)760821，這樣就OK啦
經(jīng)測試16G文件所需時(shí)間如圖：不到兩分鐘
以上這篇使用python進(jìn)行拆分大文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
本文主要介紹了python re.match函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要介紹了Python爬取365好書中小說代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了pytorch 使用半精度模型部署的操作，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要為大家詳細(xì)介紹了python多線程方式執(zhí)行多個(gè)bat的實(shí)現(xiàn)代碼，感興趣的小伙伴們可以參考一下2016-06-06
今天小編就為大家分享一篇使用pycharm生成代碼模板的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
Python變量名詳細(xì)規(guī)則詳細(xì)變量值介紹
這篇文章主要介紹了Python變量名詳細(xì)規(guī)則詳細(xì)變量值，Python需要使用標(biāo)識符給變量命名，其實(shí)標(biāo)識符就是用于給程序中變量、類、方法命名的符號（簡單來說，標(biāo)識符就是合法的名稱，下面葛小編一起進(jìn)入文章里哦阿姐更多詳細(xì)內(nèi)容吧2022-01-01
深度學(xué)習(xí)詳解之初試機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)可應(yīng)用在各個(gè)方面，本篇將在系統(tǒng)性進(jìn)入機(jī)器學(xué)習(xí)方向前，初步認(rèn)識機(jī)器學(xué)習(xí)，利用線性回歸預(yù)測波士頓房價(jià)，讓我們一起來看看吧2021-04-04
Selenium定位瀏覽器彈窗方法實(shí)例總結(jié)
彈出框是自動化測試中一種常見的元素,這種元素通常是客戶端自帶的,下面這篇文章主要給大家介紹了關(guān)于Selenium定位瀏覽器彈窗方法的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06
五分鐘學(xué)會怎么用Pygame做一個(gè)簡單的貪吃蛇
這篇文章主要介紹了五分鐘學(xué)會怎么用Pygame做一個(gè)簡單的貪吃蛇，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
這篇文章主要介紹了python爬蟲框架feapde的使用簡介，幫助大家更好的理解和學(xué)習(xí)使用python爬蟲，感興趣的朋友可以了解下2021-04-04