對python數(shù)據(jù)切割歸并算法的實例講解
當一個 .txt 文件的數(shù)據(jù)過于龐大,此時想要對數(shù)據(jù)進行排序就需要先將數(shù)據(jù)進行切割,然后通過歸并排序,最終實現(xiàn)對整體數(shù)據(jù)的排序。要實現(xiàn)這個過程我們需要進行以下幾步:獲取總數(shù)據(jù)行數(shù);根據(jù)行數(shù)按照自己的需要對數(shù)據(jù)進行切割;對每組數(shù)據(jù)進行排序 最后對所有數(shù)據(jù)進行歸并排序。
下面我們就來實現(xiàn)這整個過程:
一:獲取總數(shù)據(jù)的行
def get_file_lines(file_path):
# 目標文件的路徑
file_path = str(file_path)
with open(file_path, 'rb') as file:
# 定義行數(shù)
i = 0
while True:
# 一次讀取一行數(shù)據(jù)
line = file.readline()
if not line :
break
else:
# 每讀一行,行數(shù)加一
i += 1
#設(shè)置進度條,每當i讀取1000000行時打印一次i
# 每當讀取1000000的整數(shù)倍行時,打印行數(shù)(進度條)
if i % 1000000 == 0:
print(i)
# 打印總行數(shù)
print(i)
return i
二:對數(shù)據(jù)進行切割
# 定義均等切割函數(shù),num是待切割的文件的行數(shù)的值,n為切割份數(shù),file_path是待切割的文件,file_dir是切割好的文件寫入的目錄
def evg_split(num, n, file_path, file_dir):
last_list = []
# 如果樣本剛好可以整除為n份
if num % n == 0:
for i in range(n):
# 則直接將樣本分為n分沒份對應(yīng)num/n個
last_list.append(num / n)
# 如果不能整除
if num % n != 0:
# 如果不能整除,則先將num整除n-1并取n-1份,余下的單獨做一份
evg = (num - num % n) // (n - 1)
for i in range(n):
last_list.append(evg)
last_list.append(num % (n - 1))
print(last_list)
# return last_list
# 對應(yīng)于切割后的每一份數(shù)據(jù)
with open(file_path, 'rb') as path:
for i in range(n):
# 創(chuàng)建臨時文件
tmp_file = file_dir + str(i) + '.txt'
# 打開臨時文件,將內(nèi)容一條一條的寫入
file = open(tmp_file, 'wb')
for j in range(int(last_list[i])):
line = path.readline()
file.write(line)
print(line)
print('------------')
file.close()
三:對每組數(shù)據(jù)進行排序的內(nèi)容由讀者根據(jù)自身數(shù)據(jù)需要進行排序,下面直接介紹歸并排序
四:歸并排序
def merge( mylist1, mylist2, file1):
while len(mylist1) > 0 and len(mylist2) > 0:
if mylist1[0]<mylist2[0]:
with open(file1,'a') as file:
file.write(str(mylist1[0]))
del mylist1[0]
elif mylist1[0] > mylist2[0]:
with open(file1,'a') as file:
file.write(str(mylist2[0]))
del mylist2[0]
else:
with open(file1,'a') as file:
file.write(str(mylist1[0]))
file.write(str(mylist2[0]))
del mylist1[0]
del mylist2[0]
with open(file1, 'a') as file:
for i in mylist1:
file.write(str(i))
for i in mylist2:
file.write(str(i))
總結(jié):對于一個大型數(shù)據(jù)文件,我們可以將其切割成若干個小型的數(shù)據(jù)文件,然后分別的這些小型的數(shù)據(jù)文件進行排序,最后使用歸并排序?qū)⑦@些數(shù)據(jù)文件寫入到一個總體文件中,從而實現(xiàn)了對這個大型數(shù)據(jù)文件的排序。
以上這篇對python數(shù)據(jù)切割歸并算法的實例講解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
- python實現(xiàn)數(shù)據(jù)預處理之填充缺失值的示例
- python數(shù)據(jù)預處理之將類別數(shù)據(jù)轉(zhuǎn)換為數(shù)值的方法
- Python實現(xiàn)的拉格朗日插值法示例
- Python實現(xiàn)的線性回歸算法示例【附csv文件下載】
- Python實現(xiàn)的邏輯回歸算法示例【附測試csv文件下載】
- Python基于聚類算法實現(xiàn)密度聚類(DBSCAN)計算【測試可用】
- Python機器學習之scikit-learn庫中KNN算法的封裝與使用方法
- Python實現(xiàn)的各種常見分布算法示例
- python實現(xiàn)樸素貝葉斯算法
- python 遞歸深度優(yōu)先搜索與廣度優(yōu)先搜索算法模擬實現(xiàn)
- Python實現(xiàn)Dijkstra算法
- Python數(shù)據(jù)預處理之數(shù)據(jù)規(guī)范化(歸一化)示例
相關(guān)文章
python多個模塊py文件的數(shù)據(jù)共享實例
今天小編就為大家分享一篇python多個模塊py文件的數(shù)據(jù)共享實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
利用Tkinter(python3.6)實現(xiàn)一個簡單計算器
這篇文章主要給大家介紹了關(guān)于利用Tkinter(python3.6)實現(xiàn)一個簡單計算器的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧。2017-12-12
python操作mongodb根據(jù)_id查詢數(shù)據(jù)的實現(xiàn)方法
這篇文章主要介紹了python操作mongodb根據(jù)_id查詢數(shù)據(jù)的實現(xiàn)方法,實例分析了Python根據(jù)pymongo不同版本操作ObjectId的技巧,需要的朋友可以參考下2015-05-05

