Java請(qǐng)求流量合并和拆分提高系統(tǒng)的并發(fā)量示例
序言
在并發(fā)場(chǎng)景中,當(dāng)熱點(diǎn)緩存Key失效時(shí),流量瞬間打到數(shù)據(jù)庫中,此所謂緩存擊穿現(xiàn)象;當(dāng)大范圍的緩存Key失效時(shí),流量也會(huì)打到數(shù)據(jù)庫中,此所謂緩存雪崩現(xiàn)象。
當(dāng)使用分布式行鎖時(shí),能夠有效解決緩存擊穿問題;當(dāng)使用分布式表鎖時(shí),能夠解決緩存雪崩問題。實(shí)際操作中,分布式表鎖不在考慮范圍,理由是降低并發(fā)量。
本文將從另一個(gè)角度出發(fā),將請(qǐng)求流量合并和拆分,以提高系統(tǒng)的并發(fā)量。
理論基礎(chǔ)
流量的合并與拆分原理是將多條請(qǐng)求合并成一條請(qǐng)求,執(zhí)行后再將結(jié)果拆分。在數(shù)據(jù)庫與緩存架構(gòu)中,緩存Key失效的瞬間,大量重復(fù)請(qǐng)求打到數(shù)據(jù)庫中。實(shí)際上除了第一條請(qǐng)求為有效請(qǐng)求,隨后的請(qǐng)求為無效請(qǐng)求,浪費(fèi)數(shù)據(jù)庫連接資源。
流量的合并與拆分實(shí)踐是額外喚醒一個(gè)線程,每隔固定時(shí)間(比如200毫秒)發(fā)送合并后的請(qǐng)求,執(zhí)行完成后將查詢結(jié)果進(jìn)行拆分,分發(fā)到原始請(qǐng)求中,原始請(qǐng)求響應(yīng)用戶請(qǐng)求。
從應(yīng)用到數(shù)據(jù)庫之間連接資源需求顯著下降,從而提高數(shù)據(jù)庫連接資源利用率。
應(yīng)用實(shí)踐
(一)編碼與使用
基于MybatisPlus提供一個(gè)內(nèi)置封裝的服務(wù)類QueueServiceImpl
,透明的實(shí)現(xiàn)查詢?cè)斍榱髁康暮喜⑴c拆分,使用者可屏蔽內(nèi)部實(shí)現(xiàn)。
<dependency> <groupId>xin.altitude.cms</groupId> <artifactId>ucode-cms-common</artifactId> <version>1.4.4</version> </dependency>
對(duì)于一定時(shí)間區(qū)間內(nèi)的所有請(qǐng)求,合并成一條請(qǐng)求處理。
@Override public BuOrder getOrderById(Long orderId) { return getById(orderId); }
舉例說明,如果特定時(shí)間區(qū)間內(nèi)匯集了相同的主鍵請(qǐng)求,那么合并后的請(qǐng)求查詢一次數(shù)據(jù)庫便能夠響應(yīng)所有的請(qǐng)求。
子類重寫父類方法,可修改合并與拆分的行為。
@Override protected RequstConfig createRequstConfig() { RequstConfig config = new RequstConfig(); /* 單次最大合并請(qǐng)求數(shù)量 */ config.setMaxRequestSize(100); /* 核心線程池大小 */ config.setCorePoolSize(1); /* 請(qǐng)求間隔(毫秒) */ config.setRequestInterval(200); return config; }
實(shí)現(xiàn)細(xì)節(jié)
1、ConcurrentLinkedQueue
使用ConcurrentLinkedQueue
并發(fā)安全隊(duì)列用于緩沖和接收請(qǐng)求,定時(shí)任務(wù)以固定頻率從隊(duì)列中消費(fèi)數(shù)據(jù),將多條請(qǐng)求條件合并后匯總查詢。
2、CompletableFuture
CompletableFuture
類是合并與拆分的關(guān)鍵類,原始請(qǐng)求將查詢條件封裝成CompletableFuture
對(duì)象,提交到隊(duì)列中后陷入阻塞,定時(shí)任務(wù)分批次組裝查詢條件,得到結(jié)果后將結(jié)果拆分并存入CompletableFuture
對(duì)象中,原始請(qǐng)求線程被喚醒,繼續(xù)響應(yīng)用戶請(qǐng)求。
其它應(yīng)用場(chǎng)景
應(yīng)用于數(shù)據(jù)庫間流量的合并請(qǐng)求與拆分,首先提高數(shù)據(jù)庫連接資源(稀缺資源)利用率,其次提高網(wǎng)絡(luò)間數(shù)據(jù)傳輸效率。100條數(shù)據(jù)收發(fā)100次與100條數(shù)據(jù)收發(fā)一次的效率差別。
1、服務(wù)間接口調(diào)用
服務(wù)間API接口調(diào)用同樣適用于流量的合并與拆分:比如向訂單服務(wù)發(fā)送Http API請(qǐng)求,同一時(shí)刻有100個(gè)用戶發(fā)起查詢請(qǐng)求,使用流量合并與拆分的思想可將多個(gè)訂單查詢請(qǐng)求轉(zhuǎn)換成批查詢請(qǐng)求,得到結(jié)果后分發(fā)到不同的請(qǐng)求線程,響應(yīng)用戶請(qǐng)求。
小結(jié)
在本文中,選用的隊(duì)列是本地并發(fā)安全的隊(duì)列,在分布式系統(tǒng)中,本地隊(duì)列是否合適?此處選用本地隊(duì)列基于兩點(diǎn)考慮:一是無嚴(yán)格的分布式的需求;二是CompletableFuture
類不支持序列化??紤]使用Redis做分布式隊(duì)列的想法無法實(shí)現(xiàn),你用本地隊(duì)列,盡管會(huì)有少量查詢條件數(shù)據(jù)冗余(不影響結(jié)果),回避了分布式隊(duì)列的網(wǎng)絡(luò)IO延遲,反而有更優(yōu)的查詢效率。
本方案僅在高并發(fā)場(chǎng)景受益,屬于針對(duì)并發(fā)場(chǎng)景進(jìn)行架構(gòu)的優(yōu)化,普通項(xiàng)目使用常規(guī)操作即可。
以上就是Java請(qǐng)求流量合并和拆分提高系統(tǒng)的并發(fā)量示例的詳細(xì)內(nèi)容,更多關(guān)于Java流量合并拆分提高系統(tǒng)的并發(fā)量的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
解決@ResponseBody作用在返回類型為String的方法時(shí)的坑
這篇文章主要介紹了解決@ResponseBody作用在返回類型為String的方法時(shí)的坑,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06Java多線程中的ThreadPoolExecutor使用解析
這篇文章主要介紹了Java多線程中的ThreadPoolExecutor使用解析,作為線程池的緩沖,當(dāng)新增線程超過maximumPoolSize時(shí),會(huì)將新增線程暫時(shí)存放到該隊(duì)列中,需要的朋友可以參考下2023-12-12springboot項(xiàng)目整合mybatis并配置mybatis中間件的實(shí)現(xiàn)
這篇文章主要介紹了springboot項(xiàng)目整合mybatis并配置mybatis中間件的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04Oracle+Mybatis的foreach insert批量插入報(bào)錯(cuò)的快速解決辦法
本文給大家介紹Oracle+Mybatis的foreach insert批量插入報(bào)錯(cuò)的快速解決辦法,非常不錯(cuò),具有參考借鑒價(jià)值,感興趣的朋友參考下吧2016-08-08MybatisPlus多數(shù)據(jù)源及事務(wù)解決思路
這篇文章主要介紹了MybatisPlus多數(shù)據(jù)源及事務(wù)解決思路,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01關(guān)于SpringMVC的數(shù)據(jù)綁定@InitBinder注解的使用
這篇文章主要介紹了關(guān)于SpringMVC的數(shù)據(jù)綁定@InitBinder注解的使用,在SpringMVC中,數(shù)據(jù)綁定的工作是由 DataBinder 類完成的,DataBinder可以將HTTP請(qǐng)求中的數(shù)據(jù)綁定到Java對(duì)象中,需要的朋友可以參考下2023-07-07