欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python 高效去重復(fù) 支持GB級別大文件的示例代碼

 更新時間:2018年11月08日 14:46:05   作者:夜班機器人  
今天小編就為大家分享一篇python 高效去重復(fù) 支持GB級別大文件的示例代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

如下所示:

#coding=utf-8
 
import sys, re, os
 
def getDictList(dict):
  regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
  with open(dict) as f:
    data = f.read()
    return re.findall(regx, data)
 
def rmdp(dictList):
  return list(set(dictList))
 
def fileSave(dictRmdp, out):
  with open(out, 'a') as f:
    for line in dictRmdp:
      f.write(line + '\n')
 
def main():
  try:
    dict = sys.argv[1].strip()
    out = sys.argv[2].strip()
  except Exception, e:
    print 'error:', e
    me = os.path.basename(__file__)
    print 'usage: %s <input> <output>' %me
    print 'example: %s dict.txt dict_rmdp.txt' %me
    exit()
 
  dictList = getDictList(dict)
  dictRmdp = rmdp(dictList)
  fileSave(dictRmdp, out)
   
if __name__ == '__main__':
  main()

以上這篇python 高效去重復(fù) 支持GB級別大文件的示例代碼就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python實現(xiàn)數(shù)據(jù)地址實體抽取

    Python實現(xiàn)數(shù)據(jù)地址實體抽取

    大家好,本篇文章主要講的是Python實現(xiàn)數(shù)據(jù)地址實體抽取,感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下
    2022-02-02
  • Python實現(xiàn)程序判斷季節(jié)的代碼示例

    Python實現(xiàn)程序判斷季節(jié)的代碼示例

    今天小編就為大家分享一篇關(guān)于Python實現(xiàn)程序判斷季節(jié)的代碼示例,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-01-01
  • python+selenium實現(xiàn)QQ郵箱自動發(fā)送功能

    python+selenium實現(xiàn)QQ郵箱自動發(fā)送功能

    這篇文章主要為大家詳細介紹了python+selenium實現(xiàn)QQ郵箱自動發(fā)送功能,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-01-01
  • Python練習(xí)-購物單

    Python練習(xí)-購物單

    這篇文章主要介紹了Python練習(xí)-購物單,下文主要以舉例說明從問題描述開始,以及解題思路展開文章內(nèi)容,作為日常學(xué)習(xí)小練習(xí),需要的小伙伴可以參考一下
    2022-01-01
  • vscode搭建python Django網(wǎng)站開發(fā)環(huán)境的示例

    vscode搭建python Django網(wǎng)站開發(fā)環(huán)境的示例

    本文主要介紹了vscode搭建python Django網(wǎng)站開發(fā)環(huán)境的示例,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02
  • python 文件操作刪除某行的實例

    python 文件操作刪除某行的實例

    下面小編就為大家?guī)硪黄猵ython 文件操作刪除某行的實例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-09-09
  • Python網(wǎng)絡(luò)編程基于多線程實現(xiàn)多用戶全雙工聊天功能示例

    Python網(wǎng)絡(luò)編程基于多線程實現(xiàn)多用戶全雙工聊天功能示例

    這篇文章主要介紹了Python網(wǎng)絡(luò)編程基于多線程實現(xiàn)多用戶全雙工聊天功能,結(jié)合實例形式分析了Python網(wǎng)絡(luò)編程中使用多線程進行多用戶異步通信的原理與相關(guān)實現(xiàn)技巧,需要的朋友可以參考下
    2018-04-04
  • 最新評論