Python實現(xiàn)的txt文件去重功能示例
本文實例講述了Python實現(xiàn)的txt文件去重功能。分享給大家供大家參考，具體如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.dbjr.com.cn
www.baidu.com
www.sina.com.cn
www.dbjr.com.cn
www.google.com
www.sohu.com
www.dbjr.com.cn
www.163.com
運行后new.txt內(nèi)容如下：
www.dbjr.com.cn
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：這里再為大家提供幾款相關(guān)工具供大家參考使用：
在線去除重復項工具：
http://tools.jb51.net/code/quchong
在線文本去重復工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》及《Python入門與進階經(jīng)典教程》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
如何利用Boost.Python實現(xiàn)Python C/C++混合編程詳解
這篇文章主要給大家介紹了關(guān)于如何利用Boost.Python實現(xiàn)Python C/C++混合編程的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起看看吧2018-11-11
Pygame游戲開發(fā)之太空射擊實戰(zhàn)子彈與碰撞處理篇
相信大多數(shù)8090后都玩過太空射擊游戲，在過去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了，今天我們來自己動手實現(xiàn)它，在編寫學習中回顧過往展望未來，下面開始講解子彈與碰撞處理，在本課中，我們將添加玩家與敵人之間的碰撞，以及添加供玩家射擊的子彈2022-08-08
這篇文章主要介紹了Python有序字典簡單實現(xiàn)方法,涉及Python使用OrderedDict方法進行字典排序的相關(guān)操作技巧,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了Python自動化測試工具Splinter簡介和使用實例,Splinter可以非常棒的模擬瀏覽器的行為，Splinter提供了豐富的API，可以獲取頁面的信息判斷當前的行為所產(chǎn)生的結(jié)果2014-05-05
舉例講解Python設(shè)計模式編程的代理模式與抽象工廠模式
這篇文章主要介紹了Python編程的代理模式與抽象工廠模式,文中舉了兩個簡單的小例子來說明這兩種設(shè)計模式的思路在Python編程中的體現(xiàn),需要的朋友可以參考下2016-01-01
這篇文章主要介紹了Python學習筆記之Break和Continue用法,結(jié)合實例形式分析了Python中Break和Continue的功能、使用方法、區(qū)別及相關(guān)操作注意事項,需要的朋友可以參考下2019-08-08
Python使用Opencv實現(xiàn)邊緣檢測以及輪廓檢測的實現(xiàn)
這篇文章主要介紹了Python使用Opencv實現(xiàn)邊緣檢測以及輪廓檢測的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
這篇文章主要介紹了基于python實現(xiàn)高速視頻傳輸程序的實例代碼，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-05-05
這篇文章主要介紹了python繪制云雨圖raincloud?plot，Raincloud的Python實現(xiàn)是一個名為PtitPrince的包，它寫在seaborn之上，這是一個Python繪圖庫，用于從pandas數(shù)據(jù)幀中獲取漂亮的繪圖2022-08-08
本文主要介紹了Python做屏幕錄制工具的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06