前言

yield from 是 Python3.3 后新加的語言結(jié)構(gòu)。yield from的主要功能是打開雙向通道，把最外層的調(diào)用方法與最內(nèi)層的子生成器連接起來。這兩者就可以進(jìn)行發(fā)送值和返回值了，yeild from結(jié)構(gòu)的本質(zhì)是簡(jiǎn)化嵌套的生產(chǎn)器，不理解這個(gè)是什么意思的話,下面我將用幾個(gè)例子來對(duì)其使用方法進(jìn)行講解。

yield from 是 Python3.3 后新加的語言結(jié)構(gòu)。yield from的主要功能是打開雙向通道，把最外層的調(diào)用方法與最內(nèi)層的子生成器連接起來。這兩者就可以進(jìn)行發(fā)送值和返回值了，yeild from結(jié)構(gòu)的本質(zhì)是簡(jiǎn)化嵌套的生產(chǎn)器，不理解這個(gè)是什么意思的話,下面我將用幾個(gè)例子來對(duì)其使用方法進(jìn)行講解。

簡(jiǎn)化for循環(huán)中的yeild

首先看一個(gè)

def gene():
 for c in 'AB':
  yield c #遇到y(tǒng)eild程序返回循環(huán)，下次從yeild后面開始。
 for i in range(3):
  yield i 
if __name__=="__main__":
 list(gene())#list內(nèi)部會(huì)預(yù)激生成器

輸出

['A','B','0','1', '2']

上面的代碼可以簡(jiǎn)寫成

def gene():
  yield from 'ab' 
  yield from range(3)
if __name__=="__main__":
 list(gene()) 

通過上面的代碼我們可以知道,yield from 可以簡(jiǎn)化for循環(huán)里的yield表達(dá)式。當(dāng)然yeild from的功能不僅僅是可以簡(jiǎn)化for循環(huán)而已，要是這樣的話也就不值得，單獨(dú)寫一篇文章來介紹了。

我們仔細(xì)觀察,簡(jiǎn)化后的式子有兩個(gè)yeild from,同樣的也就是說如果有10個(gè)for循環(huán)的yeild生成式,我們需要寫10個(gè)yeild from，此時(shí)我們要記得在python中如果重復(fù)的代碼出現(xiàn)了兩次以及以上就該考慮優(yōu)化了。好了接下來我們看一個(gè)優(yōu)化后的例子。

通過yield from鏈接可迭代對(duì)象

def chain(*args):
 for i in args:
  # for m in i:
  # yield m
  yield from i
p = list(chain("1234", "AB", [1, 2, 3, 4, 5]))
print(p)

輸出

['1', '2', '3', '4', 'A', 'B', 1, 2, 3, 4, 5]

這里對(duì)之前的例子做了個(gè)優(yōu)化處理，通過*args可變參數(shù)，配合后面的for循環(huán)進(jìn)行了多個(gè)可迭代對(duì)象的鏈接處理。下面來看一個(gè)復(fù)雜點(diǎn)的例子：

來自Python cookbook 3 ，github源碼地址

https://github.com/dabeaz/python-cookbook/blob/master/src/4/how_to_flatten_a_nested_sequence/example.py)

扁平化處理嵌套型的數(shù)據(jù)

# Example of flattening a nested sequence using subgenerators

from collections import Iterable

def flatten(items, ignore_types=(str, bytes)):
 for x in items:
  if isinstance(x, Iterable) and not isinstance(x, ignore_types):
   yield from flatten(x)
  else:
   yield x

items = [1, 2, [3, 4, [5, 6], 7], 8]

# Produces 1 2 3 4 5 6 7 8
for x in flatten(items):
 print(x)

items = ['Dave', 'Paula', ['Thomas', 'Lewis']]
for x in flatten(items):
 print(x)

接下來通過說一下開篇提到的子生產(chǎn)器和調(diào)用方以及新的詞委托生成器。

了解幾個(gè)概念

yield from x 表達(dá)式對(duì)x對(duì)象做的第一件事是，調(diào)用 iter(x)，從中獲取一個(gè)迭代器。所以x是可迭代對(duì)象。上面的例子中的x如果是可迭代對(duì)象就會(huì)執(zhí)行,yield from flatten(x).

PEP380 的標(biāo)題是 ”syntax for delegating to subgenerator“(把指責(zé)委托給子生成.器的句法)。由此我們可以知道，yield from是可以實(shí)現(xiàn)嵌套生成器的使用。

yield from在看接下來的代碼之前我們必須知道這幾個(gè)概念：

委派生成器

包含yield from 表達(dá)式的生成器函數(shù)

子生成器

從yield from 部分獲取的生成器，含義yield的。

調(diào)用方

調(diào)用委派生成器的客戶端（調(diào)用方）代碼,也就是運(yùn)行入口。

ok,了解了這些我們看接下來的一個(gè)例子。

使用yeild from寫一個(gè)異步爬蟲

import requests
from collections import namedtuple ①
Response = namedtuple("rs", 'url status') ②
# 子生產(chǎn)器
def fecth(): ③
 res=[]
 while 1:
  url = yield ④
  if url is None: ⑤
   break
  req = requests.get(url)
  res.append(Response(url=url, status=req.status_code))
 return res

#委派生成器
def url_list(l, key):
 while 1: ⑥
  l[key] = yield from fecth() ⑦

#調(diào)用方
def main():
 l = {}
 u = ["http://www.baidu.com", "http://www.cnblogs.com"]
 for index, url in enumerate(u):
  if index == 0:
   ul = url_list(l, index)
   next(ul) ⑧
  ul.send(url)⑨
 ul.send(None)⑩
 return l
if __name__ == '__main__':
 res = main()
 print(res)

接下來對(duì)上面的標(biāo)準(zhǔn)進(jìn)行解釋:

① 引入一個(gè)具名元組,可以后面實(shí)現(xiàn)一個(gè)簡(jiǎn)單的類。

② 對(duì)請(qǐng)求參數(shù)做一個(gè)格式化處理，后面通過獲取屬性即可。

③一個(gè)協(xié)程，通過requests模塊可以發(fā)起網(wǎng)絡(luò)請(qǐng)求。

④main函數(shù)的發(fā)送的值綁定到這里的url上

⑤ url為None即沒有url的時(shí)候結(jié)束循環(huán)的。

⑥這個(gè)循環(huán)每次都會(huì)新建一個(gè)fetch 實(shí)例，每個(gè)實(shí)例都是作為協(xié)程使用的生成器對(duì)象。

⑦ url_list發(fā)送的每個(gè)值都會(huì)經(jīng)由yield from 處理，然后傳給fetch 實(shí)例。url_list會(huì)在yield from表達(dá)式處暫停，等待fetch實(shí)例處理客戶端發(fā)來的值。fetch實(shí)例運(yùn)行完畢后，返回的值綁定到l[key] 上。while 循環(huán)會(huì)不斷創(chuàng)建fetch實(shí)例，處理更多的值。

⑧激活url_list生成器⑨把各個(gè)url以及其序列號(hào)index，傳給url_list傳入的值最終到達(dá)fetch函數(shù)中,url_list并不知道傳入的是什么，同時(shí)url_list實(shí)例在yield from處暫停。直到fetch的一個(gè)實(shí)例處理完才進(jìn)行賦值。

⑩關(guān)鍵的一步，# 把None傳入url_list，傳入的值最終到達(dá)fetch函數(shù)中，導(dǎo)致當(dāng)前實(shí)例終止。然后繼續(xù)創(chuàng)建下一個(gè)實(shí)例。如果沒有ul.send(None)，那么fetch子生成器永遠(yuǎn)不會(huì)終止，因?yàn)閡l.send()發(fā)送的值實(shí)際是在fetch實(shí)例中進(jìn)行，委派生成器也永遠(yuǎn)不會(huì)在此激活，也就不會(huì)為l[key]賦值

參考資料：

流暢的python 第16章 PEP 380-- Syntax for Delegating to a Subgenerator How Python 3.3 "yield from" construct works

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論