Python列表去重復(fù)項(xiàng)的N種方法(實(shí)例代碼)
更新時(shí)間：2020年05月12日 11:53:44 作者：刀法如飛
這篇文章主要介紹了Python列表去重復(fù)項(xiàng)的N種方法,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
說(shuō)明
Python語(yǔ)言中列表(List)與其他語(yǔ)言的數(shù)組(Array)類似，是一種有序的集合數(shù)據(jù)結(jié)構(gòu)，Python List可支持各種數(shù)據(jù)類型，長(zhǎng)度也可動(dòng)態(tài)調(diào)整，與JS中的數(shù)組或Java ArrayList很接近。在實(shí)際編程中，經(jīng)常會(huì)遇到數(shù)組或列表去掉重復(fù)項(xiàng)，保持成員唯一性。實(shí)現(xiàn)方式有多種，比如新建列表來(lái)存儲(chǔ)非重復(fù)項(xiàng)，或者在原有基礎(chǔ)上刪除掉重復(fù)的項(xiàng)，也可以利用數(shù)據(jù)結(jié)構(gòu)來(lái)達(dá)到去重復(fù)。具體哪一種方法更好呢?以下約20種方式都可以實(shí)現(xiàn)，我們可以通過(guò)這些來(lái)交流和學(xué)習(xí)。
方式
## 1. 新建列表，如果新列表中不存在，則添加到新列表。
def unique(data):
new_list = []
for item in data:
if item not in new_list:
new_list.append(item)
return new_list
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("new_list + not in data:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
# result
$ python -V
Python 2.7.16
$ python unique.py
('for list + not in. data:', ['a', 1, 2, 'b'])
time:0.0441074371338 ms
## 2. 新建列表。根據(jù)下標(biāo)判斷是否存在新列表中，如果新列表中不存在則添加到新列表。
def unique(data):
new_list = []
for i in range(len(data)):
if data[i] not in new_list:
new_list.append(data[i])
return new_list
## 2.1 新建列表，使用列表推導(dǎo)來(lái)去重。是前一種的簡(jiǎn)寫。
def unique(data):
new_list = []
[new_list.append(i) for i in data if not i in new_list]
return new_list
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("for range + not in. data:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 3. 通過(guò)index找不到該項(xiàng)，則追加到新列表中。index找不到會(huì)報(bào)錯(cuò)，因此放在異常處理里。
def unique(data):
new_list = []
for i in range(len(data)):
item = data[i]
try:
if (new_list.index(item) < 0):
print('new_list:', new_list)
except ValueError:
new_list.append(item)
return new_list
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("list index + except:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 4. 新建列表，兩個(gè)循環(huán)。如果內(nèi)循環(huán)與外循環(huán)項(xiàng)相同，且下標(biāo)相同就添加到新列表，其余忽略
def unique(data):
new_list = []
for i in range(len(data)):
j = 0
while j <= i:
if data[i] == data[j]:
if i == j:
new_list.append(data[i])
break
j += 1
return new_list
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("new list + for. new_list:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 5. 在原有列表上移除重復(fù)項(xiàng)目。自后往前遍歷，逐個(gè)與前面項(xiàng)比較，如果值相同且下標(biāo)相同，則移除當(dāng)前項(xiàng)。
def unique(data):
l = len(data)
while (l > 0):
l -= 1
i = l
while i > 0:
i -= 1
if data[i] == data[l]:
del data[l]
break
return data
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("one list while. last -> first result. data:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 6. 在原有列表上移除重復(fù)項(xiàng)目。自前往后遍歷，逐個(gè)與后面項(xiàng)比較，如果值相同且下標(biāo)相同，則移除當(dāng)前項(xiàng)。
def unique(data):
l = len(data)
i = 0
while i < l:
j = i + 1
while j < l:
if data[i] == data[j]:
del data[j]
l -= 1
i -= 1
break
j += 1
i += 1
return data
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("one list while. first -> last result. data:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 7. 新建列表。遍歷列表，利用index比較出現(xiàn)的位置，如果出現(xiàn)在第一次的位置則追加到新數(shù)組。
def unique(data):
new_list = []
for i in range(len(data)):
if i == data.index(data[i]):
new_list.append(data[i])
return new_list
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("for range + index. data:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 8. 利用字典屬性唯一性來(lái)實(shí)現(xiàn)去重復(fù)。
def unique(data):
obj = {}
for item in data:
obj[item] = item
return obj.values()
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("list + dict:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 或者直接通過(guò)dict.fromkeys來(lái)實(shí)現(xiàn)
print("dict fromkeys:", dict.fromkeys(data).keys())
## 9. 利用filter函數(shù)，即把不符合條件的過(guò)濾掉。這里filter不支持下標(biāo)，因此需要借助外部列表存儲(chǔ)不重復(fù)項(xiàng)
def uniq(item):
i = data.index(item)
if (item not in new_list):
new_list.append(item)
return True
return False
def unique(item):
if obj.get(item) == None:
obj[item] = item
return True
return False
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
new_list = []
print('filter + list + not in: ', filter(uniq, data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 10. 利用字典結(jié)合過(guò)濾來(lái)實(shí)現(xiàn)去重復(fù)。
def unique(item):
if obj.get(item) == None:
obj[item] = item
return True
return False
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
obj = {}
print("filter + dict + get:", filter(unique, data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 11. 利用map來(lái)實(shí)現(xiàn)去重復(fù)。與map與filter類似，是一個(gè)高階函數(shù)?？梢葬槍?duì)其中項(xiàng)逐個(gè)修改操作。
## 與filter不同map會(huì)保留原有項(xiàng)目，并不會(huì)刪除，因此值可以改為None，然后再過(guò)濾掉。
def unique(item):
if item not in new_list:
new_list.append(item)
return item
return None
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
new_list = []
start_time = time.time()
print("list from Map:", filter(lambda item: item != None, map(unique, data)))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 12. 利用set數(shù)據(jù)結(jié)構(gòu)里key的唯一性來(lái)去重復(fù)
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
print("from Set:", list(set(data)))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 13. 提前排序，從后向前遍歷，將當(dāng)前項(xiàng)與前一項(xiàng)對(duì)比，如果重復(fù)則移除當(dāng)前項(xiàng)
def unique(data):
data.sort()
l = len(data)
while (l > 0):
l -= 1
if (data[l] == data[l - 1]):
data.remove(data[l])
return data
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("sort + remove:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 14. 提前排序，自前往后遍歷，將當(dāng)前項(xiàng)與后一項(xiàng)對(duì)比，如果重復(fù)則移除當(dāng)前項(xiàng)
def unique(data):
"""
in python 3: TypeError: '<' not supported between instances of 'int' and 'str'
need to keep the same Type of member in List
"""
data.sort()
l = len(data) - 1
i = 0
while i < l:
if (data[i] == data[i + 1]):
del data[i]
i -= 1
l -= 1
i += 1
return data
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("sort+del ASE:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 15. 利用reduce函數(shù)來(lái)去重復(fù)。reduce具有累計(jì)的作用，判斷如果不在累計(jì)結(jié)果中出現(xiàn)，則追加到結(jié)果中。
import functools
def unique(data):
new_list = []
def foo(result, item):
if isinstance(result, list) == False:
result = [result]
return result if item in result else result + [item]
return functools.reduce(foo, data)
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("functools.reduce:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 16. 利用遞歸調(diào)用來(lái)去重復(fù)。遞歸自后往前逐個(gè)調(diào)用，當(dāng)長(zhǎng)度為1時(shí)終止。
## 當(dāng)后一項(xiàng)與前任一項(xiàng)相同說(shuō)明有重復(fù)，則刪除當(dāng)前項(xiàng)。相當(dāng)于利用自我調(diào)用來(lái)替換循環(huán)
def recursion_unique(data, len):
if (len <= 1):
return data
l = len
last = l - 1
is_repeat = False
while (l > 1):
l -= 1
if (data[last] == data[l - 1]):
is_repeat = True
break
if (is_repeat):
del data[last]
return recursion_unique(data, len - 1)
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("recursion_unique:", recursion_unique(data, len(data)))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 17. 利用遞歸調(diào)用來(lái)去重復(fù)的另外一種方式。遞歸自后往前逐個(gè)調(diào)用，當(dāng)長(zhǎng)度為1時(shí)終止。
## 與上一個(gè)遞歸不同，這里將不重復(fù)的項(xiàng)目作為結(jié)果拼接起來(lái)
def recursion_unique_new(data, len):
if (len <= 1):
return data
l = len
last = l - 1
is_repeat = False
while (l > 1):
l -= 1
if (data[last] == data[l - 1]):
is_repeat = True
break
if (is_repeat):
del data[last:]
result = []
else:
result = [data[last]]
return recursion_unique_new(data, len - 1) + result
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("recursion_unique_new:", recursion_unique_new(data, len(data)))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
## 18. 利用numpy lib庫(kù). 需提前安裝 `pip install numpy`
import numpy as np
def unique(data):
res = np.array(data)
return list(np.unique(res))
# test
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1]
start_time = time.time()
print("import numpy as np.unique:", unique(data))
print("time:" + str((time.time() - start_time) * 1000) + " ms")
討論
從以上例子上可以看出，相對(duì)來(lái)講，Python比起其它語(yǔ)言要靈活得多，與JS并列最流行的腳本類語(yǔ)言，這也就是為何Python如此流行的原因吧。
哪一種方式更適合呢?你常用那種方式來(lái)實(shí)現(xiàn)去重復(fù)項(xiàng)?新建數(shù)組、非新建、借助Dict或Set等結(jié)構(gòu)，亦或是其它方式?
總結(jié)
到此這篇關(guān)于Python列表去重復(fù)項(xiàng)的N種方法的文章就介紹到這了,更多相關(guān)python列表去重復(fù)項(xiàng)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python3爬蟲之自動(dòng)查詢天氣并實(shí)現(xiàn)語(yǔ)音播報(bào)
這篇文章主要介紹了Python3爬蟲之自動(dòng)查詢天氣并實(shí)現(xiàn)語(yǔ)音播報(bào)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02
這篇文章主要介紹了Python數(shù)據(jù)類型及常用方法?，文章主要給大家分享Python的一些常用數(shù)據(jù)類型，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-04-04
pytorch通過(guò)自己的數(shù)據(jù)集訓(xùn)練Unet網(wǎng)絡(luò)架構(gòu)
Unet是一個(gè)最近比較火的網(wǎng)絡(luò)結(jié)構(gòu)。它的理論已經(jīng)有很多大佬在討論了。本文主要從實(shí)際操作的層面，講解如何使用pytorch實(shí)現(xiàn)unet圖像分割2022-12-12
使用python爬取B站千萬(wàn)級(jí)數(shù)據(jù)
B站我想大家都熟悉吧，其實(shí) B 站的爬蟲網(wǎng)上一搜一大堆。不過(guò)紙上得來(lái)終覺淺，絕知此事要躬行，我碼故我在。2018-06-06
python中屏蔽輸出包含屏蔽標(biāo)準(zhǔn)輸出（比如打印出來(lái)的內(nèi)容）、屏蔽標(biāo)準(zhǔn)錯(cuò)誤（錯(cuò)誤信息）還有屏蔽logging信息等,這篇文章主要介紹了python中屏蔽輸出,需要的朋友可以參考下2024-05-05
詳解python異步編程之a(chǎn)syncio(百萬(wàn)并發(fā))
這篇文章主要介紹了詳解python異步編程之a(chǎn)syncio(百萬(wàn)并發(fā))，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
這篇文章主要給大家介紹了利用python批量給云主機(jī)配置安全組的方法教程，文中介紹的非常詳細(xì)，對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面跟著小編一起來(lái)學(xué)習(xí)學(xué)習(xí)吧。2017-06-06
Python利用psutil庫(kù)進(jìn)行監(jiān)控進(jìn)程和資源
psutil是Python系統(tǒng)和進(jìn)程工具庫(kù),它提供了一種跨平臺(tái)的方式來(lái)獲取系統(tǒng)信息、管理系統(tǒng)進(jìn)程、監(jiān)控系統(tǒng)性能、操作系統(tǒng)資源等,下面就跟隨小編一起來(lái)學(xué)習(xí)psutil庫(kù)的具體應(yīng)用吧2024-01-01
本文主要介紹了Python list列表刪除元素的4種方法，主要包括del、pop、remove、clear，具有一定的參考價(jià)值，感興趣的可以了解一下2021-11-11
Python?搭建?FastAPI?項(xiàng)目的詳細(xì)過(guò)程
這篇文章主要介紹了Python搭建FastAPI項(xiàng)目的過(guò)程，本文通過(guò)圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-09-09