如何通過一篇文章了解Python中的生成器
前言
生成器很容易實現(xiàn),但卻不容易理解。生成器也可用于創(chuàng)建迭代器,但生成器可以用于一次返回一個可迭代的集合中一個元素。現(xiàn)在來看一個例子:
def yrange(n): i = 0 while i < n: yield i i += 1
每次執(zhí)行 yield 語句時,函數(shù)都會生成一個新值。
“生成器”這個詞被混淆地用來表示生成的函數(shù)和它生成的內(nèi)容。
當(dāng)調(diào)用生成器函數(shù)時,它甚至沒有開始執(zhí)行該函數(shù)就返回一個生成器對象。 當(dāng)?shù)谝淮握{(diào)用 next() 方法時,函數(shù)開始執(zhí)行直到它到達 yield 語句。 產(chǎn)生的值由下一次調(diào)用返回。
以下示例演示了 yield 和對生成器對象上的 next 方法的調(diào)用之間的相互作用。
>>> def foo(): ... print("begin") ... for i in range(3): ... print("before yield", i) ... yield i ... print("after yield", i) ... print("end") ... >>> f = foo() >>> next(f) begin before yield 0 0 >>> next(f) after yield 0 before yield 1 1 >>> next(f) after yield 1 before yield 2 2 >>> next(f) after yield 2 end Traceback (most recent call last): File "<pyshell#13>", line 1, in <module> next(f) StopIteration >>>
生成器也是迭代器
生成器也是迭代器,支持使用 for 循環(huán)。當(dāng)使用 for 語句開始對一組項目進行迭代時,即運行生成器。一旦生成器的函數(shù)代碼到達 yield 語句,生成器就會將其執(zhí)行交還給 for 循環(huán),從集合中返回一個新值。生成器函數(shù)可以根據(jù)需要生成任意數(shù)量的值(可能是無限的),依次生成每個值。
f_2 = foo() for i in f_2: print(i) begin before yield 0 0 after yield 0 end before yield 1 1 after yield 1 end before yield 2 2 after yield 2 end
當(dāng)一個函數(shù)包含 yield 時,Python 會自動實現(xiàn)一個迭代器,為我們應(yīng)用所有需要的方法,比如 __iter__() 和 __next__(),所以生成器也能和迭代器有相同的功能,如下所示:
def yrange(): i = 1 while True: yield i i = i + 1 def squares(): for i in yrange(): yield i * i def take(n, seq): seq = iter(seq) result = [] try: for i in range(n): result.append(next(seq)) except StopIteration: pass return result print(take(5, squares())) # [1, 4, 9, 16, 25]
接下來看一下如何使用生成器計算斐波那契數(shù)列:
def fib(n): if n <= 1: return 1 a, b = 0, 1 for _ in range(n): a, b = b, a + b yield a for i in fib(10): print(i, end=' ') # Result:1 1 2 3 5 8 13 21 34 55
生成器推導(dǎo)式
生成器表達式是列表推導(dǎo)式的生成器版本。它們看起來像列表推導(dǎo)式,但返回的是一個生成器,而不是一個列表。生成器推導(dǎo)式的本質(zhì):
- 使用 yield 會產(chǎn)生一個生成器對象
- 用 return 將返回當(dāng)前的第一個值。
generator_expressions = (x for x in range(10)) generator_expressions <generator object <genexpr> at 0x0000023F8BC51AF0> sum(generator_expressions) 45
無限生成器
生成器的另一個常見場景是無限序列生成。在 Python 中,當(dāng)您使用有限序列時,您可以簡單地調(diào)用 range() 并在列表中對其進行計數(shù),例如:
a = range(5) print(list(a)) [0, 1, 2, 3, 4]
也可以這樣做,使用如下生成器生成無限序列:
def infinite_sequence(): num = 0 while True: yield num num += 1
運行此代碼時,可以看到其運行非??欤梢酝ㄟ^ CTRL+C 來使得程序結(jié)束,如下:
生成器實際用法
1. 讀取文件行
生成器的一個常見用法是處理大型文件或數(shù)據(jù)流,例如 CSV 文件。假設(shè)我們需要計算文本文件中有多少行,我們的代碼可能如下所示:
def csv_reader(file_name): file = open(file_name) result = file.read().split("\n") return result csv_gen = csv_reader("some_file.csv") row_count = 0 for row in csv_gen: row_count += 1 print(f"Row count is {row_count}")
我們的 csv_reader 函數(shù)將簡單地將文件打開到內(nèi)存中并讀取所有行,然后它將行拆分并與文件數(shù)據(jù)形成一個數(shù)組。如果文件包含幾千行,可能就會導(dǎo)致速度變慢,設(shè)置是內(nèi)存被占滿。
這里就可以通過生成器重構(gòu)的 csv_reader 函數(shù)。
def csv_reader(file_name): for row in open(file_name, "r"): yield row
2.讀取文件內(nèi)容
def readfiles(filenames): for f in filenames: for line in open(f): yield line def grep(pattern, lines): return (line for line in lines if pattern in line) def printlines(lines): for line in lines: print(line, end="") def main(pattern, filenames): lines = readfiles(filenames) lines = grep(pattern, lines) printlines(lines)
高級生成器用法
到目前為止,我們已經(jīng)介紹了生成器最常見的用途和構(gòu)造,但還有更多內(nèi)容需要介紹。隨著時間的推移,Python 為生成器添加了一些額外的方法:
- send() 函數(shù)
- throw() 函數(shù)
- close() 函數(shù)
接下來,我們來看一下如何使用這三個函數(shù)。
首先,新建一個生成器將生成素數(shù),其實現(xiàn)如下:
def isPrime(n): if n < 2 or n % 1 > 0: return False elif n == 2 or n == 3: return True for x in range(2, int(n**0.5) + 1): if n % x == 0: return False return True def getPrimes(): value = 0 while True: if isPrime(value): i = yield value if i is not None: value = i value += 1
然后我們調(diào)用 send() 函數(shù),這個函數(shù)會向生成器 prime_gen 傳入一個值,然后從這個值開始計算下一個素數(shù)的值:
prime_gen = getPrimes() print(next(prime_gen)) print(prime_gen.send(1000)) print(next(prime_gen))
可以看到如下結(jié)果:
throw() 允許您使用生成器拋出異常。例如,這對于以某個值結(jié)束迭代很有用。比如我們想得到小于 20 的素數(shù)就可以使用如下方法:
prime_gen = getPrimes() for x in prime_gen: if x > 20: prime_gen.throw(ValueError, "I think it was enough!") print(x)
運行該代碼,得到結(jié)果如下:
在前面的示例中,我們通過引發(fā)異常來停止迭代,但這并不是用戶想看到的,誰想看到報錯呢。因此,結(jié)束迭代的更好方法是使用 close():
prime_gen = getPrimes() for x in prime_gen: if x > 20: prime_gen.close() print(x)
運行結(jié)果如下圖:
可以看到,生成器在運行到停止了,沒有引發(fā)任何異常。
總結(jié)
生成器簡化了迭代器的創(chuàng)建。 生成器是產(chǎn)生一系列結(jié)果而不是單個值的函數(shù)。
生成器可以用于優(yōu)化 Python 應(yīng)用程序的性能,尤其是在使用大型數(shù)據(jù)集或文件時的場景中。
生成器還通過避免復(fù)雜的迭代器實現(xiàn)或通過其他方式處理數(shù)據(jù)來提供清晰的代碼。
參考鏈接:
How to Use Generator and yield in Python
https://realpython.com/introduction-to-python-generators/
https://anandology.com/python-practice-book/iterators.html
到此這篇關(guān)于Python中生成器的文章就介紹到這了,更多相關(guān)Python的生成器內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
使用python/pytorch讀取數(shù)據(jù)集的示例代碼
這篇文章主要為大家詳細介紹了使用python/pytorch讀取數(shù)據(jù)集的示例,文中的示例代碼講解詳細,具有一定參考價值,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-12-12python模塊和包的應(yīng)用BASE_PATH使用解析
這篇文章主要介紹了python模塊和包的應(yīng)用BASE_PATH使用解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12使用Python解決常見格式圖像讀取nii,dicom,mhd
這篇文章主要介紹了使用Python解決常見格式圖像讀取nii,dicom,mhd,下文具體操作過程需要的小伙伴可以參考一下2022-04-04Python標(biāo)準(zhǔn)庫筆記struct模塊的使用
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫筆記struct模塊的使用,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-02-02pycharm在調(diào)試python時執(zhí)行其他語句的方法
今天小編就為大家分享一篇pycharm在調(diào)試python時執(zhí)行其他語句的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11Python 3.10 的首個 PEP 誕生,內(nèi)置類型 zip() 迎來新特性(推薦)
這篇文章主要介紹了Python 3.10 的首個 PEP 誕生,內(nèi)置類型 zip() 迎來新特性,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-07-07