Python進階:生成器 懶人版本的迭代器詳解
從容器、可迭代對象談起
所有的容器都是可迭代的(iterable),迭代器提供了一個next方法。iter()返回一個迭代器,通過next()函數(shù)可以實現(xiàn)遍歷。
def is_iterable(param): try: iter(param) return True except TypeError: return False params = [ 1234, '1234', [1, 2, 3, 4], set([1, 2, 3, 4]), {1:1, 2:2, 3:3, 4:4}, (1, 2, 3, 4) ] for param in params: print('{} is iterable? {}'.format(param, is_iterable(param))) ########## 輸出 ########## # 1234 is iterable? False # 1234 is iterable? True # [1, 2, 3, 4] is iterable? True # {1, 2, 3, 4} is iterable? True # {1: 1, 2: 2, 3: 3, 4: 4} is iterable? True # (1, 2, 3, 4) is iterable? True
除了數(shù)字外,其他數(shù)據(jù)結(jié)構(gòu)都是可迭代的。
生成器是什么
生成器是懶人版本的迭代器。例:
import os import psutil #顯示當前 python 程序占用的內(nèi)存大小 def show_memory_info(hint): pid = os.getpid() p = psutil.Process(pid) info = p.memory_full_info() memory = info.uss / 1024. / 1024 print('{} memory used: {} MB'.format(hint, memory)) def test_iterator(): show_memory_info('initing iterator') list_1 = [i for i in range(100000000)] show_memory_info('after iterator initiated') print(sum(list_1)) show_memory_info('after sum called') def test_generator(): show_memory_info('initing generator') list_2 = (i for i in range(100000000)) show_memory_info('after generator initiated') print(sum(list_2)) show_memory_info('after sum called') test_iterator() test_generator() %time test_iterator() %time test_generator() ######### 輸出 ########## initing iterator memory used: 48.9765625 MB after iterator initiated memory used: 3920.30078125 MB 4999999950000000 after sum called memory used: 3920.3046875 MB Wall time: 17 s initing generator memory used: 50.359375 MB after generator initiated memory used: 50.359375 MB 4999999950000000 after sum called memory used: 50.109375 MB Wall time: 12.5 s
[i for i in range(100000000)] 聲明了一個迭代器,每個元素在生成后都會保存到內(nèi)存中,占用了巨量的內(nèi)存。(i for i in range(100000000)) 初始化了一個生成器,可以看到,生成器并不會像迭代器一樣占用大量的內(nèi)存,相比于 test_iterator(),test_generator()函數(shù)節(jié)省了一次生成一億個元素的過程。在調(diào)用next()的時候,才會生成下一個變量.
生成器能玩啥花樣
數(shù)學中有一個恒等式,(1 + 2 + 3 + ... + n)^2 = 1^3 + 2^3 + 3^3 + ... + n^3,用以下代碼表達
def generator(k): i = 1 while True: yield i ** k i += 1 gen_1 = generator(1) gen_3 = generator(3) print(gen_1) print(gen_3) def get_sum(n): sum_1, sum_3 = 0, 0 for i in range(n): next_1 = next(gen_1) next_3 = next(gen_3) print('next_1 = {}, next_3 = {}'.format(next_1, next_3)) sum_1 += next_1 sum_3 += next_3 print(sum_1 * sum_1, sum_3) get_sum(8) ########## 輸出 ########## # <generator object generator at 0x000001E70651C4F8> # <generator object generator at 0x000001E70651C390> # next_1 = 1, next_3 = 1 # next_1 = 2, next_3 = 8 # next_1 = 3, next_3 = 27 # next_1 = 4, next_3 = 64 # next_1 = 5, next_3 = 125 # next_1 = 6, next_3 = 216 # next_1 = 7, next_3 = 343 # next_1 = 8, next_3 = 512 # 1296 1296
generator()這個函數(shù),它返回了一個生成器,當運行到y(tǒng)ield i ** k時,暫停并把i ** k作為next()的返回值。每次調(diào)用next(gen)時,暫停的程序會啟動并往下執(zhí)行,而且i的值也會被記住,繼續(xù)累加,最后next_1為8,next_3為512.
仔細查看這個示例,發(fā)現(xiàn)迭代器是一個有限集合,生成器則可以成為一個無限集。調(diào)用next(),生成器根據(jù)運算會自動生成新的元素,然后返回給你,非常便捷。
再來看一個問題:給定一個list和一個指定數(shù)字,求這個數(shù)字在list中的位置:
#常規(guī)寫法 def index_normal(L, target): result = [] for i, num in enumerate(L): if num == target: result.append(i) return result print(index_normal([1, 6, 2, 4, 5, 2, 8, 6, 3, 2], 2)) ########## 輸出 ########## [2, 5, 9] #生成器寫法 def index_generator(L, target): for i, num in enumerate(L): if num == target: yield i print(list(index_generator([1, 6, 2, 4, 5, 2, 8, 6, 3, 2], 2))) ######### 輸出 ########## [2, 5, 9]
再看一例子:
查找子序列:給定兩個字符串a(chǎn),b,查找字符串a(chǎn)是否字符串b的子序列,所謂子序列,即一個序列包含在另一個序列中并且順序一
算法:分別用兩個指針指向兩個字符串的頭,然后往后移動找出相同的值,如果其中一個指針走完了整個字符串也沒有相同的值,則不是子序列
def is_subsequence(a, b): b = iter(b) return all(i in b for i in a) print(is_subsequence([1, 3, 5], [1, 2, 3, 4, 5])) print(is_subsequence([1, 4, 3], [1, 2, 3, 4, 5])) ######### 輸出 ########## True False
下面代碼為上面代碼的演化版本
def is_subsequence(a, b): b = iter(b) print(b) gen = (i for i in a) print(gen) for i in gen: print(i) gen = ((i in b) for i in a) print(gen) for i in gen: print(i) return all(((i in b) for i in a)) print(is_subsequence([1, 3, 5], [1, 2, 3, 4, 5])) print(is_subsequence([1, 4, 3], [1, 2, 3, 4, 5])) ########## 輸出 ########## # <list_iterator object at 0x000001E7063D0E80> # <generator object is_subsequence.<locals>.<genexpr> at 0x000001E70651C570> # 1 # 3 # 5 # <generator object is_subsequence.<locals>.<genexpr> at 0x000001E70651C5E8> # True # True # True # False # <list_iterator object at 0x000001E7063D0D30> # <generator object is_subsequence.<locals>.<genexpr> at 0x000001E70651C5E8> # 1 # 4 # 3 # <generator object is_subsequence.<locals>.<genexpr> at 0x000001E70651C570> # True # True # False # False
首先iter(b)把b轉(zhuǎn)為迭代器。目的是內(nèi)部實現(xiàn)next函數(shù),(i for i in a) 會產(chǎn)生一個生成器 ,同樣((i in b) for i in a)也是。然后(i in b)等階于:
while True: val = next(b) if val == i: yield True
這里非常巧妙地利用生成器的特性,next()函數(shù)運行的時候,保存了當前的指針。比如下面這個示例
b = (i for i in range(5)) print(2 in b) print(4 in b) print(3 in b) ########## 輸出 ########## True True False
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
- python 協(xié)程中的迭代器,生成器原理及應用實例詳解
- Python迭代器iterator生成器generator使用解析
- python 生成器和迭代器的原理解析
- 詳解python中的生成器、迭代器、閉包、裝飾器
- 一篇文章弄懂Python中的可迭代對象、迭代器和生成器
- Python學習筆記之迭代器和生成器用法實例詳解
- 一篇文章徹底搞懂Python中可迭代(Iterable)、迭代器(Iterator)與生成器(Generator)的概念
- 淺談Python中的可迭代對象、迭代器、For循環(huán)工作機制、生成器
- Python通過for循環(huán)理解迭代器和生成器實例詳解
- 正確理解python迭代器與生成器
相關(guān)文章
Pytorch中關(guān)于RNN輸入和輸出的形狀總結(jié)
這篇文章主要介紹了Pytorch中關(guān)于RNN輸入和輸出的形狀總結(jié),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-06-06Python除法之傳統(tǒng)除法、Floor除法及真除法實例詳解
本文通過實例代碼給大家介紹了Python除法之傳統(tǒng)除法、Floor除法及真除法,需要的朋友可以參考下2019-05-05Python 等分切分數(shù)據(jù)及規(guī)則命名的實例代碼
這篇文章主要介紹了Python 等分切分數(shù)據(jù)及規(guī)則命名的實例代碼,代碼簡單易懂,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下2019-08-08Python利用Matplotlib繪制柱狀圖(豎直柱狀圖和水平柱狀圖)、直方圖和餅狀圖
這篇文章主要給大家介紹了關(guān)于Python利用Matplotlib繪制柱狀圖(豎直柱狀圖和水平柱狀圖)、直方圖和餅狀圖的相關(guān)資料,Python使用matplotlib畫圖是非常方便的,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-12-12Python的Django REST框架中的序列化及請求和返回
這篇文章主要介紹了Python的Django REST框架中的序列化及請求和返回,使用Django REST來實現(xiàn)RESTful web service非常方便和強大,需要的朋友可以參考下2016-04-04Python函數(shù)式編程中itertools模塊詳解
這篇文章主要介紹了在Python中使用itertools模塊中的組合函數(shù)的教程,來自IBM官方技術(shù)文檔,需要的朋友可以參考下,希望能夠給你帶來幫助2021-09-09