python 高效去重復 支持GB級別大文件的示例代碼
更新時間：2018年11月08日 14:46:05 作者：夜班機器人
今天小編就為大家分享一篇python 高效去重復 支持GB級別大文件的示例代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
#coding=utf-8
import sys, re, os
def getDictList(dict):
regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
with open(dict) as f:
data = f.read()
return re.findall(regx, data)
def rmdp(dictList):
return list(set(dictList))
def fileSave(dictRmdp, out):
with open(out, 'a') as f:
for line in dictRmdp:
f.write(line + '\n')
def main():
try:
dict = sys.argv[1].strip()
out = sys.argv[2].strip()
except Exception, e:
print 'error:', e
me = os.path.basename(__file__)
print 'usage: %s <input> <output>' %me
print 'example: %s dict.txt dict_rmdp.txt' %me
exit()
dictList = getDictList(dict)
dictRmdp = rmdp(dictList)
fileSave(dictRmdp, out)
if __name__ == '__main__':
main()
以上這篇python 高效去重復 支持GB級別大文件的示例代碼就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python中的struct模塊,代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04
Pytorch中的數(shù)據(jù)轉換Transforms與DataLoader方式
這篇文章主要介紹了Pytorch中的數(shù)據(jù)轉換Transforms與DataLoader方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要介紹了Python面向對象編程，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
Python實現(xiàn)數(shù)據(jù)地址實體抽取
大家好，本篇文章主要講的是Python實現(xiàn)數(shù)據(jù)地址實體抽取，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下2022-02-02
Python實現(xiàn)程序判斷季節(jié)的代碼示例
今天小編就為大家分享一篇關于Python實現(xiàn)程序判斷季節(jié)的代碼示例，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
python+selenium實現(xiàn)QQ郵箱自動發(fā)送功能
這篇文章主要為大家詳細介紹了python+selenium實現(xiàn)QQ郵箱自動發(fā)送功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01
這篇文章主要介紹了Python練習-購物單，下文主要以舉例說明從問題描述開始，以及解題思路展開文章內(nèi)容，作為日常學習小練習，需要的小伙伴可以參考一下2022-01-01
vscode搭建python Django網(wǎng)站開發(fā)環(huán)境的示例
本文主要介紹了vscode搭建python Django網(wǎng)站開發(fā)環(huán)境的示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
下面小編就為大家?guī)硪黄猵ython 文件操作刪除某行的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-09-09
Python網(wǎng)絡編程基于多線程實現(xiàn)多用戶全雙工聊天功能示例
這篇文章主要介紹了Python網(wǎng)絡編程基于多線程實現(xiàn)多用戶全雙工聊天功能,結合實例形式分析了Python網(wǎng)絡編程中使用多線程進行多用戶異步通信的原理與相關實現(xiàn)技巧,需要的朋友可以參考下2018-04-04