了解java架構(gòu)之微服務(wù)架構(gòu)—雪崩效應(yīng)
前言
微服務(wù)化產(chǎn)品線,每一個(gè)服務(wù)專心于自己的業(yè)務(wù)邏輯,并對(duì)外提供相應(yīng)的接口,看上去似乎很明了,其實(shí)還有很多的東西需要考慮,比如:服務(wù)的自動(dòng)擴(kuò)充,熔斷和限流等,隨著業(yè)務(wù)的擴(kuò)展,服務(wù)的數(shù)量也會(huì)隨之增多,邏輯會(huì)更加復(fù)雜,一個(gè)服務(wù)的某個(gè)邏輯需要依賴多個(gè)其他服務(wù)才能完成。
一但一個(gè)依賴不能提供服務(wù)很可能會(huì)產(chǎn)生雪崩效應(yīng),最后導(dǎo)致整個(gè)服務(wù)不可訪問。
微服務(wù)之間進(jìn)行rpc或者h(yuǎn)ttp調(diào)用時(shí),我們一般都會(huì)設(shè)置調(diào)用超時(shí),失敗重試等機(jī)制來確保服務(wù)的成功執(zhí)行,看上去很美,如果不考慮服務(wù)的熔斷和限流,就是雪崩的源頭。
假設(shè)我們有兩個(gè)訪問量比較大的服務(wù)A和B,這兩個(gè)服務(wù)分別依賴C和D,C和D服務(wù)都依賴E服務(wù)
A和B不斷的調(diào)用C,D處理客戶請(qǐng)求和返回需要的數(shù)據(jù)。當(dāng)E服務(wù)不能供服務(wù)的時(shí)候,C和D的超時(shí)和重試機(jī)制會(huì)被執(zhí)行
由于新的調(diào)用不斷的產(chǎn)生,會(huì)導(dǎo)致C和D對(duì)E服務(wù)的調(diào)用大量的積壓,產(chǎn)生大量的調(diào)用等待和重試調(diào)用,慢慢會(huì)耗盡C和D的資源比如內(nèi)存或CPU,然后也down掉。
A和B服務(wù)會(huì)重復(fù)C和D的操作,資源耗盡,然后down掉,最終整個(gè)服務(wù)都不可訪問。
常見的導(dǎo)致雪崩的情況有以下幾種:
- 程序bug導(dǎo)致服務(wù)不可用,或者運(yùn)行緩慢
- 緩存擊穿,導(dǎo)致調(diào)用全部訪問某服務(wù),導(dǎo)致down掉
- 訪問量的突然激增。
- 硬件問題,這感覺只能說是點(diǎn)背了⊙︿⊙。
雖然雪崩效應(yīng)的產(chǎn)生千萬條,保證服務(wù)的不掛機(jī),和流暢運(yùn)行是我們不可推卸的責(zé)任,對(duì)應(yīng)雪崩效應(yīng)還是有很多保護(hù)方案的。
服務(wù)的橫向擴(kuò)充
現(xiàn)在我們可以利用很多工具來保證服務(wù)不會(huì)掛掉,然后流量比較大的時(shí)候,可以橫向擴(kuò)充服務(wù)來保證業(yè)務(wù)的流暢。比如我們最常使用k8s,能保證服務(wù)的運(yùn)行狀態(tài),也可以讓服務(wù)自動(dòng)的橫向擴(kuò)充。對(duì)于用戶訪問量的激增情況這樣處理還是很不錯(cuò)的,但是,橫向擴(kuò)充也是有盡頭的,如果在一定環(huán)境下E服務(wù)的響應(yīng)時(shí)間過長(zhǎng),依然有可能導(dǎo)致雪崩效應(yīng)的產(chǎn)生。
限流
限制客戶端的調(diào)用來達(dá)到限流的做法是很常見的,比如,我們限制每秒最大處理200個(gè)請(qǐng)求,超過個(gè)數(shù)量直接拒絕請(qǐng)求。常見的算法如令牌桶算法
以一定的速度在桶里放令牌,當(dāng)客戶端請(qǐng)求服務(wù)的時(shí)候,要先從桶里得到令牌,才能被處理,如果桶里的令牌用完了,則拒絕訪問。
熔斷
在客戶端控制對(duì)依賴的訪問,如果調(diào)用的依賴不可用時(shí),則不再調(diào)用,直接返回錯(cuò)誤,或者降級(jí)處理。開源的庫(kù)比如hystrix-go,也是我接下來要寫的源碼分析的一個(gè)庫(kù)。很好的實(shí)現(xiàn)了熔斷和降級(jí)的功能。他的主要思想是,設(shè)置一些閥值,比如,最大并發(fā)數(shù),錯(cuò)誤率百分比,熔斷嘗試恢復(fù)時(shí)間等。能過這些閥值來轉(zhuǎn)換熔斷器的狀態(tài):
- 關(guān)閉狀態(tài),允許調(diào)用依賴
- 打開狀態(tài),不允許調(diào)用依賴,直接返回錯(cuò)誤,或者調(diào)用fallback
- 半開狀態(tài),根據(jù)熔斷嘗試恢復(fù)時(shí)間來開啟,允許調(diào)用依賴,如果調(diào)用成功則關(guān)閉失敗則繼續(xù)打開
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Java時(shí)間類庫(kù)Timer的使用方法與實(shí)例詳解
這篇文章主要介紹了Jave時(shí)間類庫(kù)Timer的使用方法與實(shí)例詳解,需要的朋友可以參考下2020-02-02JAVA中出現(xiàn)異常、拋出異常后續(xù)代碼是否執(zhí)行情況詳析
當(dāng)產(chǎn)生異常后,并在異常處理器中進(jìn)行執(zhí)行之后,程序會(huì)是如何的一種狀態(tài),是終止還是繼續(xù)執(zhí)行處理之后的代碼呢,下面這篇文章主要給大家介紹了關(guān)于JAVA中出現(xiàn)異常、拋出異常后續(xù)代碼是否執(zhí)行情況的相關(guān)資料,需要的朋友可以參考下2024-05-05Java二叉樹的遍歷思想及核心代碼實(shí)現(xiàn)
今天小編就為大家分享一篇關(guān)于Java二叉樹的遍歷思想及核心代碼實(shí)現(xiàn),小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2019-01-01關(guān)于Springboot | @RequestBody 接收到的參數(shù)對(duì)象屬性為空的問題
這篇文章主要介紹了關(guān)于Springboot | @RequestBody 接收到的參數(shù)對(duì)象屬性為空的問題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-03-03Java并發(fā)系列之AbstractQueuedSynchronizer源碼分析(條件隊(duì)列)
這篇文章主要為大家詳細(xì)介紹了Java并發(fā)系列之AbstractQueuedSynchronizer源碼,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-02-02