欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python列表去重復(fù)項(xiàng)的N種方法(實(shí)例代碼)

 更新時間:2020年05月12日 11:53:44   作者:刀法如飛  
這篇文章主要介紹了Python列表去重復(fù)項(xiàng)的N種方法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下

說明

Python語言中列表(List)與其他語言的數(shù)組(Array)類似,是一種有序的集合數(shù)據(jù)結(jié)構(gòu),Python List可支持各種數(shù)據(jù)類型,長度也可動態(tài)調(diào)整,與JS中的數(shù)組或Java ArrayList很接近。在實(shí)際編程中,經(jīng)常會遇到數(shù)組或列表去掉重復(fù)項(xiàng),保持成員唯一性。實(shí)現(xiàn)方式有多種,比如新建列表來存儲非重復(fù)項(xiàng),或者在原有基礎(chǔ)上刪除掉重復(fù)的項(xiàng),也可以利用數(shù)據(jù)結(jié)構(gòu)來達(dá)到去重復(fù)。具體哪一種方法更好呢?以下約20種方式都可以實(shí)現(xiàn),我們可以通過這些來交流和學(xué)習(xí)。

方式

## 1. 新建列表,如果新列表中不存在,則添加到新列表。 
def unique(data): 
 new_list = [] 
 for item in data: 
 if item not in new_list: 
  new_list.append(item) 
 return new_list 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("new_list + not in data:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
# result 
$ python -V 
Python 2.7.16 
$ python unique.py 
('for list + not in. data:', ['a', 1, 2, 'b']) 
time:0.0441074371338 ms 
## 2. 新建列表。根據(jù)下標(biāo)判斷是否存在新列表中,如果新列表中不存在則添加到新列表。 
def unique(data): 
 new_list = [] 
 for i in range(len(data)): 
 if data[i] not in new_list: 
  new_list.append(data[i]) 
 return new_list 
## 2.1 新建列表,使用列表推導(dǎo)來去重。是前一種的簡寫。 
def unique(data): 
 new_list = [] 
 [new_list.append(i) for i in data if not i in new_list] 
 return new_list 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("for range + not in. data:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 3. 通過index找不到該項(xiàng),則追加到新列表中。index找不到會報錯,因此放在異常處理里。 
def unique(data): 
 new_list = [] 
 for i in range(len(data)): 
 item = data[i] 
 try: 
  if (new_list.index(item) < 0): 
  print('new_list:', new_list) 
 except ValueError: 
  new_list.append(item) 
 return new_list 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("list index + except:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 4. 新建列表,兩個循環(huán)。如果內(nèi)循環(huán)與外循環(huán)項(xiàng)相同,且下標(biāo)相同就添加到新列表,其余忽略 
def unique(data): 
 new_list = [] 
 for i in range(len(data)): 
 j = 0 
 while j <= i: 
  if data[i] == data[j]: 
  if i == j: 
   new_list.append(data[i]) 
  break 
  j += 1 
 return new_list 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("new list + for. new_list:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 5. 在原有列表上移除重復(fù)項(xiàng)目。自后往前遍歷,逐個與前面項(xiàng)比較,如果值相同且下標(biāo)相同,則移除當(dāng)前項(xiàng)。 
def unique(data): 
 l = len(data) 
 while (l > 0): 
 l -= 1 
 i = l 
 while i > 0: 
  i -= 1 
  if data[i] == data[l]: 
  del data[l] 
  break 
 return data 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("one list while. last -> first result. data:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 6. 在原有列表上移除重復(fù)項(xiàng)目。自前往后遍歷,逐個與后面項(xiàng)比較,如果值相同且下標(biāo)相同,則移除當(dāng)前項(xiàng)。 
def unique(data): 
 l = len(data) 
 i = 0 
 while i < l: 
 j = i + 1 
 while j < l: 
  if data[i] == data[j]: 
  del data[j] 
  l -= 1 
  i -= 1 
  break 
  j += 1 
 i += 1 
 return data 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("one list while. first -> last result. data:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 7. 新建列表。遍歷列表,利用index比較出現(xiàn)的位置,如果出現(xiàn)在第一次的位置則追加到新數(shù)組。 
def unique(data): 
 new_list = [] 
 for i in range(len(data)): 
 if i == data.index(data[i]): 
  new_list.append(data[i]) 
 return new_list 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("for range + index. data:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 8. 利用字典屬性唯一性來實(shí)現(xiàn)去重復(fù)。 
def unique(data): 
 obj = {} 
 for item in data: 
 obj[item] = item 
 return obj.values() 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("list + dict:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 或者直接通過dict.fromkeys來實(shí)現(xiàn) 
print("dict fromkeys:", dict.fromkeys(data).keys()) 
## 9. 利用filter函數(shù),即把不符合條件的過濾掉。這里filter不支持下標(biāo),因此需要借助外部列表存儲不重復(fù)項(xiàng) 
def uniq(item): 
 i = data.index(item) 
 if (item not in new_list): 
 new_list.append(item) 
 return True 
 return False 
def unique(item): 
 if obj.get(item) == None: 
 obj[item] = item 
 return True 
 return False 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
new_list = [] 
print('filter + list + not in: ', filter(uniq, data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 10. 利用字典結(jié)合過濾來實(shí)現(xiàn)去重復(fù)。 
def unique(item): 
 if obj.get(item) == None: 
 obj[item] = item 
 return True 
 return False 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
obj = {} 
print("filter + dict + get:", filter(unique, data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 11. 利用map來實(shí)現(xiàn)去重復(fù)。與map與filter類似,是一個高階函數(shù)??梢葬槍ζ渲许?xiàng)逐個修改操作。 
## 與filter不同map會保留原有項(xiàng)目,并不會刪除,因此值可以改為None,然后再過濾掉。 
def unique(item): 
 if item not in new_list: 
 new_list.append(item) 
 return item 
 return None 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
new_list = [] 
start_time = time.time() 
print("list from Map:", filter(lambda item: item != None, map(unique, data))) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 12. 利用set數(shù)據(jù)結(jié)構(gòu)里key的唯一性來去重復(fù) 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
print("from Set:", list(set(data))) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 13. 提前排序,從后向前遍歷,將當(dāng)前項(xiàng)與前一項(xiàng)對比,如果重復(fù)則移除當(dāng)前項(xiàng) 
def unique(data): 
 data.sort() 
 l = len(data) 
 while (l > 0): 
 l -= 1 
 if (data[l] == data[l - 1]): 
  data.remove(data[l]) 
 return data 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("sort + remove:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 14. 提前排序,自前往后遍歷,將當(dāng)前項(xiàng)與后一項(xiàng)對比,如果重復(fù)則移除當(dāng)前項(xiàng) 
def unique(data): 
 """ 
 in python 3: TypeError: '<' not supported between instances of 'int' and 'str' 
 need to keep the same Type of member in List 
 """ 
 data.sort() 
 l = len(data) - 1 
 i = 0 
 while i < l: 
 if (data[i] == data[i + 1]): 
  del data[i] 
  i -= 1 
  l -= 1 
 i += 1 
 return data 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("sort+del ASE:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 15. 利用reduce函數(shù)來去重復(fù)。reduce具有累計(jì)的作用,判斷如果不在累計(jì)結(jié)果中出現(xiàn),則追加到結(jié)果中。 
import functools 
def unique(data): 
 new_list = [] 
 def foo(result, item): 
 if isinstance(result, list) == False: 
  result = [result] 
 return result if item in result else result + [item] 
 return functools.reduce(foo, data) 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("functools.reduce:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 16. 利用遞歸調(diào)用來去重復(fù)。遞歸自后往前逐個調(diào)用,當(dāng)長度為1時終止。 
## 當(dāng)后一項(xiàng)與前任一項(xiàng)相同說明有重復(fù),則刪除當(dāng)前項(xiàng)。相當(dāng)于利用自我調(diào)用來替換循環(huán) 
def recursion_unique(data, len): 
 if (len <= 1): 
 return data 
 l = len 
 last = l - 1 
 is_repeat = False 
 while (l > 1): 
 l -= 1 
 if (data[last] == data[l - 1]): 
  is_repeat = True 
  break 
 if (is_repeat): 
 del data[last] 
 return recursion_unique(data, len - 1) 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("recursion_unique:", recursion_unique(data, len(data))) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 17. 利用遞歸調(diào)用來去重復(fù)的另外一種方式。遞歸自后往前逐個調(diào)用,當(dāng)長度為1時終止。 
## 與上一個遞歸不同,這里將不重復(fù)的項(xiàng)目作為結(jié)果拼接起來 
def recursion_unique_new(data, len): 
 if (len <= 1): 
 return data 
 l = len 
 last = l - 1 
 is_repeat = False 
 while (l > 1): 
 l -= 1 
 if (data[last] == data[l - 1]): 
  is_repeat = True 
  break 
 if (is_repeat): 
 del data[last:] 
 result = [] 
 else: 
 result = [data[last]] 
 return recursion_unique_new(data, len - 1) + result 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("recursion_unique_new:", recursion_unique_new(data, len(data))) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 
## 18. 利用numpy lib庫. 需提前安裝 `pip install numpy` 
import numpy as np 
def unique(data): 
 res = np.array(data) 
 return list(np.unique(res)) 
# test 
data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] 
start_time = time.time() 
print("import numpy as np.unique:", unique(data)) 
print("time:" + str((time.time() - start_time) * 1000) + " ms") 

討論

從以上例子上可以看出,相對來講,Python比起其它語言要靈活得多,與JS并列最流行的腳本類語言,這也就是為何Python如此流行的原因吧。

哪一種方式更適合呢?你常用那種方式來實(shí)現(xiàn)去重復(fù)項(xiàng)?新建數(shù)組、非新建、借助Dict或Set等結(jié)構(gòu),亦或是其它方式?

總結(jié)

到此這篇關(guān)于Python列表去重復(fù)項(xiàng)的N種方法的文章就介紹到這了,更多相關(guān)python列表去重復(fù)項(xiàng)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python3爬蟲之自動查詢天氣并實(shí)現(xiàn)語音播報

    Python3爬蟲之自動查詢天氣并實(shí)現(xiàn)語音播報

    這篇文章主要介紹了Python3爬蟲之自動查詢天氣并實(shí)現(xiàn)語音播報,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-02-02
  • Python數(shù)據(jù)類型及常用方法

    Python數(shù)據(jù)類型及常用方法

    這篇文章主要介紹了Python數(shù)據(jù)類型及常用方法?,文章主要給大家分享Python的一些常用數(shù)據(jù)類型,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-04-04
  • pytorch通過自己的數(shù)據(jù)集訓(xùn)練Unet網(wǎng)絡(luò)架構(gòu)

    pytorch通過自己的數(shù)據(jù)集訓(xùn)練Unet網(wǎng)絡(luò)架構(gòu)

    Unet是一個最近比較火的網(wǎng)絡(luò)結(jié)構(gòu)。它的理論已經(jīng)有很多大佬在討論了。本文主要從實(shí)際操作的層面,講解如何使用pytorch實(shí)現(xiàn)unet圖像分割
    2022-12-12
  • 使用python爬取B站千萬級數(shù)據(jù)

    使用python爬取B站千萬級數(shù)據(jù)

    B站我想大家都熟悉吧,其實(shí) B 站的爬蟲網(wǎng)上一搜一大堆。不過紙上得來終覺淺,絕知此事要躬行,我碼故我在。
    2018-06-06
  • python中屏蔽輸出示例詳解

    python中屏蔽輸出示例詳解

    python中屏蔽輸出包含屏蔽標(biāo)準(zhǔn)輸出(比如打印出來的內(nèi)容)、屏蔽標(biāo)準(zhǔn)錯誤(錯誤信息)還有屏蔽logging信息等,這篇文章主要介紹了python中屏蔽輸出,需要的朋友可以參考下
    2024-05-05
  • 詳解python異步編程之a(chǎn)syncio(百萬并發(fā))

    詳解python異步編程之a(chǎn)syncio(百萬并發(fā))

    這篇文章主要介紹了詳解python異步編程之a(chǎn)syncio(百萬并發(fā)),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-07-07
  • 利用python批量給云主機(jī)配置安全組的方法教程

    利用python批量給云主機(jī)配置安全組的方法教程

    這篇文章主要給大家介紹了利用python批量給云主機(jī)配置安全組的方法教程,文中介紹的非常詳細(xì),對大家具有一定的參考學(xué)習(xí)價值,需要的朋友們下面跟著小編一起來學(xué)習(xí)學(xué)習(xí)吧。
    2017-06-06
  • Python利用psutil庫進(jìn)行監(jiān)控進(jìn)程和資源

    Python利用psutil庫進(jìn)行監(jiān)控進(jìn)程和資源

    psutil是Python系統(tǒng)和進(jìn)程工具庫,它提供了一種跨平臺的方式來獲取系統(tǒng)信息、管理系統(tǒng)進(jìn)程、監(jiān)控系統(tǒng)性能、操作系統(tǒng)資源等,下面就跟隨小編一起來學(xué)習(xí)psutil庫的具體應(yīng)用吧
    2024-01-01
  • Python list列表刪除元素的4種方法

    Python list列表刪除元素的4種方法

    本文主要介紹了Python list列表刪除元素的4種方法,主要包括del、pop、remove、clear,具有一定的參考價值,感興趣的可以了解一下
    2021-11-11
  • Python?搭建?FastAPI?項(xiàng)目的詳細(xì)過程

    Python?搭建?FastAPI?項(xiàng)目的詳細(xì)過程

    這篇文章主要介紹了Python搭建FastAPI項(xiàng)目的過程,本文通過圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-09-09

最新評論