學(xué)會迭代器設(shè)計模式,幫你大幅提升python性能
大家好,我們的git專題已經(jīng)更新結(jié)束了,所以開始繼續(xù)給大家寫一點(diǎn)設(shè)計模式的內(nèi)容。
今天給大家介紹的設(shè)計模式非常簡單,叫做iterator,也就是迭代器模式。迭代器是Python語言當(dāng)中一個非常重要的內(nèi)容,借助迭代器我們可以很方便地實現(xiàn)很多復(fù)雜的功能。在深度學(xué)習(xí)當(dāng)中,數(shù)據(jù)的獲取往往也是通過迭代器實現(xiàn)的。因此這部分的內(nèi)容非常重要,推薦大家一定要掌握。
簡單案例
在開始介紹設(shè)計模式之前,我們先來看一個簡單的需求。假設(shè)現(xiàn)在我們需要根據(jù)傳入的變量獲取每周的前幾天,比如說我們傳入3返回的就是[Mon, Tue, Wed],我們傳入5返回[Mon, Tue, Wed, Thu, Fri]。這個需求大家應(yīng)該都能理解,非常非常簡單。
如果用一個函數(shù)來實現(xiàn)的話,就是這樣:
def return_days(n): week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'] return week[:n]
你看三行代碼就實現(xiàn)了,在這個問題場景當(dāng)中這樣寫當(dāng)然是沒有問題。但假如我們把題目稍微變一變,這里的week不是一個固定的數(shù)據(jù),而是從上游或者是某個文件當(dāng)中讀取的。這里的n也是一個很大的數(shù),我們把這個函數(shù)改寫成這樣:
def get_data(n): data = [] for i in range(n): data.append(get_from_upstream()) return data
我們假設(shè)get_from_upstream這個函數(shù)當(dāng)中實現(xiàn)了獲取數(shù)據(jù)的具體邏輯,那么上面這一段函數(shù)有一個什么問題?
有些同學(xué)會說這沒有問題啊,因為像是其他語言實現(xiàn)數(shù)據(jù)獲取的時候也都是這么干的。的確,像是Java等語言可能都是這么干的。但是其他語言這么干沒錯,不代表Python這么干也沒錯。因為我們沒有把Python的能力發(fā)揮到最大。
這里有兩個問題,第一個問題是延遲,因為前面說了,n是一個很大的數(shù)。我們從上游獲取數(shù)據(jù),無論是通過網(wǎng)絡(luò)還是文件讀取,本質(zhì)上都是IO操作,IO操作的延遲是非常大的。那么我們把這n條數(shù)據(jù)全部搜集完可能需要很長的時間,導(dǎo)致下游的漫長等待。第二個問題就是內(nèi)存,因為我們存儲了這n條數(shù)據(jù)一起返回的,如果n很大,對于內(nèi)存的開銷壓力也很大,如果機(jī)器內(nèi)存不夠很有可能導(dǎo)致崩潰。
那怎么解決呢?
其實解決的方法很簡單,如果對迭代器熟悉的話,會發(fā)現(xiàn)迭代器針對的恰恰是這兩個問題。我們把上面的邏輯改寫成迭代器實現(xiàn)即可,這也就是iterator模式。
iterator模式
iterator模式嚴(yán)格說起來其實只是迭代器的一種應(yīng)用,它非常巧妙地將迭代器與匿名函數(shù)結(jié)合在一起,里面也沒有太多的門道可以說,我們把剛才的代碼改寫一下,細(xì)節(jié)都在代碼當(dāng)中。
def get_data(n): for i in range(n): yield get_from_upstream() data_10 = lambda: get_data(10) data_100 = lambda: get_data(100) # use for d in data_10: print(d)
很簡單吧,但可能你要問了,我們既然寫出了get_data這個迭代器,那么我們使用的時候直接for d in get_data(10)這樣用不就好了,為什么中間要用匿名函數(shù)包一層呢?
道理也很簡單,如果這個數(shù)據(jù)是我們自己使用,當(dāng)然是沒必要中間包一層的。但如果我們是傳給下游使用的話,對于下游來說它肯定是不希望考慮上游太多的細(xì)節(jié)的,越簡單越好。所以我們直接丟一個包裝好的迭代器過去,下游直接call即可。否則的話,下游還需要感知get_data這個函數(shù)傳入的參數(shù),顯然是不夠合理的。
以上就是學(xué)會迭代器設(shè)計模式,幫你大幅提升python性能的詳細(xì)內(nèi)容,更多關(guān)于python 迭代器設(shè)計模式的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
tensorflow2.10使用BERT實現(xiàn)Semantic Similarity過程解析
這篇文章主要為大家介紹了tensorflow2.10使用BERT實現(xiàn)Semantic Similarity過程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-04-04Python實現(xiàn)一個完整學(xué)生管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了如何利用python實現(xiàn)學(xué)生管理系統(tǒng)(面向?qū)ο蟀妫?,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2023-01-01python http服務(wù)flask架構(gòu)實用代碼詳解分析
本篇文章主要分享一個python的簡單http服務(wù)flask架構(gòu)。目前主流的python的服務(wù)框架有django、flask,相較于django來說,flask更小巧玲瓏。至于并發(fā)的問題,使用了gevent協(xié)程io進(jìn)行處理2021-10-10Python中使用 Selenium 實現(xiàn)網(wǎng)頁截圖實例
這篇文章主要介紹了Python中使用 Selenium 實現(xiàn)網(wǎng)頁截圖實例,Selenium支持Java、C#、Ruby 以及 Python等語言,本文以Python語言為例,需要的朋友可以參考下2014-07-07