SpringBoot中使用Guava實(shí)現(xiàn)單機(jī)令牌桶限流的示例
SpringBoot項(xiàng)目中如何對(duì)接口進(jìn)行限流,有哪些常見的限流算法,如何優(yōu)雅的進(jìn)行限流。
首先就讓我們來看看為什么需要對(duì)接口進(jìn)行限流?
為什么要進(jìn)行限流?
因?yàn)榛ヂ?lián)網(wǎng)系統(tǒng)通常都要面對(duì)大并發(fā)大流量的請(qǐng)求,在突發(fā)情況下(最常見的場(chǎng)景就是秒殺、搶購(gòu)),瞬時(shí)大流量會(huì)直接將系統(tǒng)打垮,無法對(duì)外提供服務(wù)。那為了防止出現(xiàn)這種情況最常見的解決方案之一就是限流,當(dāng)請(qǐng)求達(dá)到一定的并發(fā)數(shù)或速率,就進(jìn)行等待、排隊(duì)、降級(jí)、拒絕服務(wù)等。
例如,12306購(gòu)票系統(tǒng),在面對(duì)高并發(fā)的情況下,就是采用了限流。在流量高峰期間經(jīng)常會(huì)出現(xiàn)提示語;"當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!"
什么是限流?有哪些限流算法?
限流是對(duì)某一時(shí)間窗口內(nèi)的請(qǐng)求數(shù)進(jìn)行限制,保持系統(tǒng)的可用性和穩(wěn)定性,防止因流量暴增而導(dǎo)致的系統(tǒng)運(yùn)行緩慢或宕機(jī)。
常見的限流算法有三種:
1. 計(jì)數(shù)器限流
計(jì)數(shù)器限流算法是最為簡(jiǎn)單粗暴的解決方案,主要用來限制總并發(fā)數(shù),比如數(shù)據(jù)庫(kù)連接池大小、線程池大小、接口訪問并發(fā)數(shù)等都是使用計(jì)數(shù)器算法。
如:使用 AomicInteger 來進(jìn)行統(tǒng)計(jì)當(dāng)前正在并發(fā)執(zhí)行的次數(shù),如果超過域值就直接拒絕請(qǐng)求,提示系統(tǒng)繁忙。
2. 漏桶算法
漏桶算法思路很簡(jiǎn)單,我們把水比作是請(qǐng)求
,漏桶比作是系統(tǒng)處理能力極限
,水先進(jìn)入到漏桶里,漏桶里的水按一定速率流出,當(dāng)流出的速率小于流入的速率時(shí),由于漏桶容量有限,后續(xù)進(jìn)入的水直接溢出(拒絕請(qǐng)求),以此實(shí)現(xiàn)限流。
3. 令牌桶算法
令牌桶算法的原理也比較簡(jiǎn)單,我們可以理解成醫(yī)院的掛號(hào)看病,只有拿到號(hào)以后才可以進(jìn)行診病。
系統(tǒng)會(huì)維護(hù)一個(gè)令牌(token
)桶,以一個(gè)恒定的速度往桶里放入令牌(token
),這時(shí)如果有請(qǐng)求進(jìn)來想要被處理,則需要先從桶里獲取一個(gè)令牌(token
),當(dāng)桶里沒有令牌(token
)可取時(shí),則該請(qǐng)求將被拒絕服務(wù)。令牌桶算法通過控制桶的容量、發(fā)放令牌的速率,來達(dá)到對(duì)請(qǐng)求的限制。
基于Guava工具類實(shí)現(xiàn)限流
Google開源工具包Guava提供了限流工具類RateLimiter,該類基于令牌桶算法實(shí)現(xiàn)流量限制,使用十分方便,而且十分高效,實(shí)現(xiàn)步驟如下:
第一步:引入guava依賴包
<dependency> ????<groupId>com.google.guava</groupId> ????<artifactId>guava</artifactId> ????<version>30.1-jre</version> </dependency>
第二步:給接口加上限流邏輯
@Slf4j @RestController @RequestMapping("/limit") public?class?LimitController?{ ????/** ?????*?限流策略?:1秒鐘2個(gè)請(qǐng)求 ?????*/ ????private?final?RateLimiter?limiter?=?RateLimiter.create(2.0); ????private?DateTimeFormatter?dtf?=?DateTimeFormatter.ofPattern("yyyy-MM-dd?HH:mm:ss"); ????@GetMapping("/test1") ????public?String?testLimiter()?{ ????????//500毫秒內(nèi),沒拿到令牌,就直接進(jìn)入服務(wù)降級(jí) ????????boolean?tryAcquire?=?limiter.tryAcquire(500,?TimeUnit.MILLISECONDS); ????????if?(!tryAcquire)?{ ????????????log.warn("進(jìn)入服務(wù)降級(jí),時(shí)間{}",?LocalDateTime.now().format(dtf)); ????????????return?"當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!"; ????????} ????????log.info("獲取令牌成功,時(shí)間{}",?LocalDateTime.now().format(dtf)); ????????return?"請(qǐng)求成功"; ????} }
以上用到了RateLimiter的2個(gè)核心方法:create()
、tryAcquire()
,以下為詳細(xì)說明
- acquire() 獲取一個(gè)令牌, 改方法會(huì)阻塞直到獲取到這一個(gè)令牌, 返回值為獲取到這個(gè)令牌花費(fèi)的時(shí)間
- acquire(int permits) 獲取指定數(shù)量的令牌, 該方法也會(huì)阻塞, 返回值為獲取到這 N 個(gè)令牌花費(fèi)的時(shí)間
- tryAcquire() 判斷時(shí)候能獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits) 獲取指定數(shù)量的令牌, 如果不能獲取立即返回 false
- tryAcquire(long timeout, TimeUnit unit) 判斷能否在指定時(shí)間內(nèi)獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits, long timeout, TimeUnit unit) 同上
第三步:體驗(yàn)效果
通過訪問測(cè)試地址:http://127.0.0.1:8080/limit/test1,反復(fù)刷新并觀察后端日志
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37
INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37
INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38
INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38
INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38
從以上日志可以看出,1秒鐘內(nèi)只有2次成功,其他都失敗降級(jí)了,說明我們已經(jīng)成功給接口加上了限流功能。
當(dāng)然了,我們?cè)趯?shí)際開發(fā)中并不能直接這樣用。至于原因嘛,你想呀,你每個(gè)接口都需要手動(dòng)給其加上tryAcquire()
,業(yè)務(wù)代碼和限流代碼混在一起,而且明顯違背了DRY原則,代碼冗余,重復(fù)勞動(dòng)。代碼評(píng)審時(shí)肯定會(huì)被老鳥們給嘲笑一番,啥破玩意兒!
所以,我們這里需要想辦法將其優(yōu)化 - 借助自定義注解+AOP實(shí)現(xiàn)接口限流。
基于AOP實(shí)現(xiàn)接口限流
基于AOP的實(shí)現(xiàn)方式也非常簡(jiǎn)單,實(shí)現(xiàn)過程如下:
第一步:加入AOP依賴
<dependency> ??<groupId>org.springframework.boot</groupId> ??<artifactId>spring-boot-starter-aop</artifactId> </dependency>
第二步:自定義限流注解
@Retention(RetentionPolicy.RUNTIME) @Target({ElementType.METHOD}) @Documented public?@interface?Limit?{ ????/** ?????*?資源的key,唯一 ?????*?作用:不同的接口,不同的流量控制 ?????*/ ????String?key()?default?""; ????/** ?????*?最多的訪問限制次數(shù) ?????*/ ????double?permitsPerSecond?()?; ????/** ?????*?獲取令牌最大等待時(shí)間 ?????*/ ????long?timeout(); ????/** ?????*?獲取令牌最大等待時(shí)間,單位(例:分鐘/秒/毫秒)?默認(rèn):毫秒 ?????*/ ????TimeUnit?timeunit()?default?TimeUnit.MILLISECONDS; ????/** ?????*?得不到令牌的提示語 ?????*/ ????String?msg()?default?"系統(tǒng)繁忙,請(qǐng)稍后再試."; }
第三步:使用AOP切面攔截限流注解
@Slf4j @Aspect @Component public?class?LimitAop?{ ????/** ?????*?不同的接口,不同的流量控制 ?????*?map的key為?Limiter.key ?????*/ ????private?final?Map<String,?RateLimiter>?limitMap?=?Maps.newConcurrentMap(); ????@Around("@annotation(com.jianzh5.blog.limit.Limit)") ????public?Object?around(ProceedingJoinPoint?joinPoint)?throws?Throwable{ ????????MethodSignature?signature?=?(MethodSignature)?joinPoint.getSignature(); ????????Method?method?=?signature.getMethod(); ????????//拿limit的注解 ????????Limit?limit?=?method.getAnnotation(Limit.class); ????????if?(limit?!=?null)?{ ????????????//key作用:不同的接口,不同的流量控制 ????????????String?key=limit.key(); ????????????RateLimiter?rateLimiter?=?null; ????????????//驗(yàn)證緩存是否有命中key ????????????if?(!limitMap.containsKey(key))?{ ????????????????//?創(chuàng)建令牌桶 ????????????????rateLimiter?=?RateLimiter.create(limit.permitsPerSecond()); ????????????????limitMap.put(key,?rateLimiter); ????????????????log.info("新建了令牌桶={},容量={}",key,limit.permitsPerSecond()); ????????????} ????????????rateLimiter?=?limitMap.get(key); ????????????//?拿令牌 ????????????boolean?acquire?=?rateLimiter.tryAcquire(limit.timeout(),?limit.timeunit()); ????????????//?拿不到命令,直接返回異常提示 ????????????if?(!acquire)?{ ????????????????log.debug("令牌桶={},獲取令牌失敗",key); ????????????????this.responseFail(limit.msg()); ????????????????return?null; ????????????} ????????} ????????return?joinPoint.proceed(); ????} ????/** ?????*?直接向前端拋出異常 ?????*?@param?msg?提示信息 ?????*/ ????private?void?responseFail(String?msg)??{ ????????HttpServletResponse?response=((ServletRequestAttributes)?RequestContextHolder.getRequestAttributes()).getResponse(); ????????ResultData<Object>?resultData?=?ResultData.fail(ReturnCode.LIMIT_ERROR.getCode(),?msg); ????????WebUtils.writeJson(response,resultData); ????} }
第四步:給需要限流的接口加上注解
@Slf4j @RestController @RequestMapping("/limit") public?class?LimitController?{ ????@GetMapping("/test2") ????@Limit(key?=?"limit2",?permitsPerSecond?=?1,?timeout?=?500,?timeunit?=?TimeUnit.MILLISECONDS,msg?=?"當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!") ????public?String?limit2()?{ ????????log.info("令牌桶l(fā)imit2獲取令牌成功"); ????????return?"ok"; ????} ????@GetMapping("/test3") ????@Limit(key?=?"limit3",?permitsPerSecond?=?2,?timeout?=?500,?timeunit?=?TimeUnit.MILLISECONDS,msg?=?"系統(tǒng)繁忙,請(qǐng)稍后再試!") ????public?String?limit3()?{ ????????log.info("令牌桶l(fā)imit3獲取令牌成功"); ????????return?"ok"; ????} }
第五步:體驗(yàn)效果
通過訪問測(cè)試地址:http://127.0.0.1:8080/limit/test2,反復(fù)刷新并觀察輸出結(jié)果:
正常響應(yīng)時(shí):
{"status":100,"message":"操作成功","data":"ok","timestamp":1632579377104}
觸發(fā)限流時(shí):
{"status":2001,"message":"系統(tǒng)繁忙,請(qǐng)稍后再試!","data":null,"timestamp":1632579332177}
通過觀察得之,基于自定義注解同樣實(shí)現(xiàn)了接口限流的效果。
小結(jié)
一般在系統(tǒng)上線時(shí)我們通過對(duì)系統(tǒng)壓測(cè)可以評(píng)估出系統(tǒng)的性能閾值,然后給接口加上合理的限流參數(shù),防止出現(xiàn)大流量請(qǐng)求時(shí)直接壓垮系統(tǒng)。今天我們介紹了幾種常見的限流算法(重點(diǎn)關(guān)注令牌桶算法),基于Guava工具類實(shí)現(xiàn)了接口限流并利用AOP完成了對(duì)限流代碼的優(yōu)化。
到此這篇關(guān)于SpringBoot中使用Guava實(shí)現(xiàn)單機(jī)令牌桶限流的示例的文章就介紹到這了,更多相關(guān)SpringBoot Guava單機(jī)令牌桶限流內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot實(shí)現(xiàn)Logback輸出日志到Kafka方式
本文介紹了如何在SpringBoot應(yīng)用中通過自定義Appender實(shí)現(xiàn)Logback輸出日志到Kafka,包括配置maven依賴、Kafka工具類和logback.xml配置2025-02-02java服務(wù)器的簡(jiǎn)單實(shí)現(xiàn)過程記錄
在線瀏覽網(wǎng)頁(yè)離不開服務(wù)器,用戶發(fā)出請(qǐng)求request,服務(wù)器做出響應(yīng)response,提供給用戶需要的頁(yè)面,這篇文章主要給大家介紹了關(guān)于java服務(wù)器簡(jiǎn)單實(shí)現(xiàn)的相關(guān)資料,需要的朋友可以參考下2021-11-11SpringBoot項(xiàng)目如何添加2FA雙因素身份認(rèn)證
雙因素身份驗(yàn)證2FA是一種安全系統(tǒng),要求用戶提供兩種不同的身份驗(yàn)證方式才能訪問某個(gè)系統(tǒng)或服務(wù),國(guó)內(nèi)普遍做短信驗(yàn)證碼這種的用的比較少,不過在國(guó)外的網(wǎng)站中使用雙因素身份驗(yàn)證的還是很多的,這篇文章主要介紹了SpringBoot項(xiàng)目如何添加2FA雙因素身份認(rèn)證,需要的朋友參考下2024-04-04Jmeter參數(shù)化獲取序列數(shù)據(jù)實(shí)現(xiàn)過程
這篇文章主要介紹了Jmeter參數(shù)化獲取序列數(shù)據(jù)實(shí)現(xiàn)過程,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07Mybatis-Plus 條件構(gòu)造器 QueryWrapper 的基本用法
這篇文章主要介紹了Mybatis-Plus - 條件構(gòu)造器 QueryWrapper 的使用,通過實(shí)例代碼給大家介紹了查詢示例代碼及實(shí)現(xiàn)需求,代碼簡(jiǎn)單易懂,對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-09-09Java JDK動(dòng)態(tài)代理(AOP)用法及實(shí)現(xiàn)原理詳解
在本篇文章了小編給大家整理的是一篇關(guān)于Java JDK動(dòng)態(tài)代理(AOP)用法及實(shí)現(xiàn)原理詳解內(nèi)容,有需要的朋友們可以參考學(xué)習(xí)下。2020-10-10