Python實現(xiàn)字典去除重復(fù)的方法示例
更新時間：2017年07月31日 12:15:56 作者：無法自拔
這篇文章主要介紹了Python實現(xiàn)字典去除重復(fù)的方法,涉及Python字典遍歷、文件讀取、去除重復(fù)等相關(guān)操作技巧,需要的朋友可以參考下
本文實例講述了Python實現(xiàn)字典去除重復(fù)的方法。分享給大家供大家參考，具體如下：
#!/usr/bin/env python
# encoding: utf-8
#字典去重小代碼
import sys
import os
import platform
try:
pass
except:
print '''you have something wrong this is a simple jiaoben '''
sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
if(i>=1):
other = sys.argv[i]
if os.path.exists(other):
pass
else:
print other + ' file not find'
sys.exit()
if 'Windows' in platform.system():
os.system("type "+other+" >> "+why)
else:
os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
if line == '' or line == '\r\n':
pass
else:
dirc.writelines(line)
很簡單的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等
PS：本站還有兩款比較簡單實用的在線文本去重復(fù)工具，推薦給大家使用：
在線去除重復(fù)項工具：
http://tools.jb51.net/code/quchong
在線文本去重復(fù)工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python字典操作技巧匯總》、《Python字符串操作技巧匯總》、《Python常用遍歷技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》及《Python入門與進(jìn)階經(jīng)典教程》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
談一談數(shù)組拼接tf.concat()和np.concatenate()的區(qū)別
今天小編就為大家分享一篇談?wù)剶?shù)組拼接tf.concat()和np.concatenate()的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了如何利用Pytorch計算三角函數(shù),文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有很好地幫助,需要的朋友可以參考下2021-05-05
python基于multiprocessing的多進(jìn)程創(chuàng)建方法
這篇文章主要介紹了python基于multiprocessing的多進(jìn)程創(chuàng)建方法,實例分析了multiprocessing模塊操作進(jìn)程的相關(guān)技巧,需要的朋友可以參考下2015-06-06
這篇文章主要介紹了python中mpi4py的所有基礎(chǔ)使用,本文通過10個案例給大家詳細(xì)講解，結(jié)合實例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2022-08-08
Django Rest framework權(quán)限的詳細(xì)用法
這篇文章主要介紹了Django Rest framework權(quán)限的詳細(xì)用法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
順序查找（Sequential?Search）是一種簡單直觀的搜索算法，用于在無序數(shù)組中查找特定元素，本文將介紹順序查找的基本原理，并通過Python代碼進(jìn)行詳細(xì)講解，需要的可以參考一下2023-08-08
Python?np.where()的詳解以及代碼應(yīng)用
numpy里有一個非常神奇的函數(shù)叫做np.where()函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python?np.where()的詳解以及代碼應(yīng)用的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08
這篇文章主要給大家介紹了關(guān)于Python中特殊方法以及應(yīng)用的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
Django使用echarts進(jìn)行可視化展示的實踐
可視化是將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來，本文主要介紹了Django使用echarts進(jìn)行可視化展示的實踐，感興趣的可以了解一下2021-06-06
這篇文章主要介紹了BCEWithLogitsLoss樣本不均衡的處理方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05