SpringBoot 進(jìn)行限流的操作方法
大家好,我是飄渺。SpringBoot老鳥(niǎo)系列的文章已經(jīng)寫了四篇,每篇的閱讀反響都還不錯(cuò),那今天繼續(xù)給大家?guī)?lái)老鳥(niǎo)系列的第五篇,來(lái)聊聊在SpringBoot項(xiàng)目中如何對(duì)接口進(jìn)行限流,有哪些常見(jiàn)的限流算法,如何優(yōu)雅的進(jìn)行限流(基于AOP)。
首先就讓我們來(lái)看看為什么需要對(duì)接口進(jìn)行限流?
為什么要進(jìn)行限流?
因?yàn)榛ヂ?lián)網(wǎng)系統(tǒng)通常都要面對(duì)大并發(fā)大流量的請(qǐng)求,在突發(fā)情況下(最常見(jiàn)的場(chǎng)景就是秒殺、搶購(gòu)),瞬時(shí)大流量會(huì)直接將系統(tǒng)打垮,無(wú)法對(duì)外提供服務(wù)。那為了防止出現(xiàn)這種情況最常見(jiàn)的解決方案之一就是限流,當(dāng)請(qǐng)求達(dá)到一定的并發(fā)數(shù)或速率,就進(jìn)行等待、排隊(duì)、降級(jí)、拒絕服務(wù)等。
例如,12306購(gòu)票系統(tǒng),在面對(duì)高并發(fā)的情況下,就是采用了限流。 在流量高峰期間經(jīng)常會(huì)出現(xiàn)提示語(yǔ);“當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!”
什么是限流?有哪些限流算法?
限流是對(duì)某一時(shí)間窗口內(nèi)的請(qǐng)求數(shù)進(jìn)行限制,保持系統(tǒng)的可用性和穩(wěn)定性,防止因流量暴增而導(dǎo)致的系統(tǒng)運(yùn)行緩慢或宕機(jī)。
常見(jiàn)的限流算法有三種:
1. 計(jì)數(shù)器限流
計(jì)數(shù)器限流算法是最為簡(jiǎn)單粗暴的解決方案,主要用來(lái)限制總并發(fā)數(shù),比如數(shù)據(jù)庫(kù)連接池大小、線程池大小、接口訪問(wèn)并發(fā)數(shù)等都是使用計(jì)數(shù)器算法。
如:使用 AomicInteger 來(lái)進(jìn)行統(tǒng)計(jì)當(dāng)前正在并發(fā)執(zhí)行的次數(shù),如果超過(guò)域值就直接拒絕請(qǐng)求,提示系統(tǒng)繁忙。
2. 漏桶算法

漏桶算法思路很簡(jiǎn)單,我們把水比作是請(qǐng)求,漏桶比作是系統(tǒng)處理能力極限,水先進(jìn)入到漏桶里,漏桶里的水按一定速率流出,當(dāng)流出的速率小于流入的速率時(shí),由于漏桶容量有限,后續(xù)進(jìn)入的水直接溢出(拒絕請(qǐng)求),以此實(shí)現(xiàn)限流。
3. 令牌桶算法

令牌桶算法的原理也比較簡(jiǎn)單,我們可以理解成醫(yī)院的掛號(hào)看病,只有拿到號(hào)以后才可以進(jìn)行診病。
系統(tǒng)會(huì)維護(hù)一個(gè)令牌(token)桶,以一個(gè)恒定的速度往桶里放入令牌(token),這時(shí)如果有請(qǐng)求進(jìn)來(lái)想要被處理,則需要先從桶里獲取一個(gè)令牌(token),當(dāng)桶里沒(méi)有令牌(token)可取時(shí),則該請(qǐng)求將被拒絕服務(wù)。令牌桶算法通過(guò)控制桶的容量、發(fā)放令牌的速率,來(lái)達(dá)到對(duì)請(qǐng)求的限制。
基于Guava工具類實(shí)現(xiàn)限流
Google開(kāi)源工具包Guava提供了限流工具類RateLimiter,該類基于令牌桶算法實(shí)現(xiàn)流量限制,使用十分方便,而且十分高效,實(shí)現(xiàn)步驟如下:
第一步:引入guava依賴包
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>30.1-jre</version>
</dependency>
第二步:給接口加上限流邏輯
@Slf4j
@RestController
@RequestMapping("/limit")
public class LimitController {
/**
* 限流策略 : 1秒鐘2個(gè)請(qǐng)求
*/
private final RateLimiter limiter = RateLimiter.create(2.0);
private DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
@GetMapping("/test1")
public String testLimiter() {
//500毫秒內(nèi),沒(méi)拿到令牌,就直接進(jìn)入服務(wù)降級(jí)
boolean tryAcquire = limiter.tryAcquire(500, TimeUnit.MILLISECONDS);
if (!tryAcquire) {
log.warn("進(jìn)入服務(wù)降級(jí),時(shí)間{}", LocalDateTime.now().format(dtf));
return "當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!";
}
log.info("獲取令牌成功,時(shí)間{}", LocalDateTime.now().format(dtf));
return "請(qǐng)求成功";
}
}
以上用到了RateLimiter的2個(gè)核心方法:create()、tryAcquire(),以下為詳細(xì)說(shuō)明
- acquire() 獲取一個(gè)令牌, 改方法會(huì)阻塞直到獲取到這一個(gè)令牌, 返回值為獲取到這個(gè)令牌花費(fèi)的時(shí)間
- acquire(int permits) 獲取指定數(shù)量的令牌, 該方法也會(huì)阻塞, 返回值為獲取到這 N 個(gè)令牌花費(fèi)的時(shí)間
- tryAcquire() 判斷時(shí)候能獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits) 獲取指定數(shù)量的令牌, 如果不能獲取立即返回 false
- tryAcquire(long timeout, TimeUnit unit) 判斷能否在指定時(shí)間內(nèi)獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits, long timeout, TimeUnit unit) 同上
第三步:體驗(yàn)效果
通過(guò)訪問(wèn)測(cè)試地址: http://127.0.0.1:8080/limit/test1,反復(fù)刷新并觀察后端日志
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38
從以上日志可以看出,1秒鐘內(nèi)只有2次成功,其他都失敗降級(jí)了,說(shuō)明我們已經(jīng)成功給接口加上了限流功能。
當(dāng)然了,我們?cè)趯?shí)際開(kāi)發(fā)中并不能直接這樣用。至于原因嘛,你想呀,你每個(gè)接口都需要手動(dòng)給其加上tryAcquire(),業(yè)務(wù)代碼和限流代碼混在一起,而且明顯違背了DRY原則,代碼冗余,重復(fù)勞動(dòng)。代碼評(píng)審時(shí)肯定會(huì)被老鳥(niǎo)們給嘲笑一番,啥破玩意兒!

所以,我們這里需要想辦法將其優(yōu)化 - 借助自定義注解+AOP實(shí)現(xiàn)接口限流。
基于AOP實(shí)現(xiàn)接口限流
基于AOP的實(shí)現(xiàn)方式也非常簡(jiǎn)單,實(shí)現(xiàn)過(guò)程如下:
第一步:加入AOP依賴
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency>
第二步:自定義限流注解
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD})
@Documented
public @interface Limit {
/**
* 資源的key,唯一
* 作用:不同的接口,不同的流量控制
*/
String key() default "";
/**
* 最多的訪問(wèn)限制次數(shù)
*/
double permitsPerSecond () ;
/**
* 獲取令牌最大等待時(shí)間
*/
long timeout();
/**
* 獲取令牌最大等待時(shí)間,單位(例:分鐘/秒/毫秒) 默認(rèn):毫秒
*/
TimeUnit timeunit() default TimeUnit.MILLISECONDS;
/**
* 得不到令牌的提示語(yǔ)
*/
String msg() default "系統(tǒng)繁忙,請(qǐng)稍后再試.";
}
第三步:使用AOP切面攔截限流注解
@Slf4j
@Aspect
@Component
public class LimitAop {
/**
* 不同的接口,不同的流量控制
* map的key為 Limiter.key
*/
private final Map<String, RateLimiter> limitMap = Maps.newConcurrentMap();
@Around("@annotation(com.jianzh5.blog.limit.Limit)")
public Object around(ProceedingJoinPoint joinPoint) throws Throwable{
MethodSignature signature = (MethodSignature) joinPoint.getSignature();
Method method = signature.getMethod();
//拿limit的注解
Limit limit = method.getAnnotation(Limit.class);
if (limit != null) {
//key作用:不同的接口,不同的流量控制
String key=limit.key();
RateLimiter rateLimiter = null;
//驗(yàn)證緩存是否有命中key
if (!limitMap.containsKey(key)) {
// 創(chuàng)建令牌桶
rateLimiter = RateLimiter.create(limit.permitsPerSecond());
limitMap.put(key, rateLimiter);
log.info("新建了令牌桶={},容量={}",key,limit.permitsPerSecond());
}
rateLimiter = limitMap.get(key);
// 拿令牌
boolean acquire = rateLimiter.tryAcquire(limit.timeout(), limit.timeunit());
// 拿不到命令,直接返回異常提示
if (!acquire) {
log.debug("令牌桶={},獲取令牌失敗",key);
this.responseFail(limit.msg());
return null;
}
}
return joinPoint.proceed();
}
/**
* 直接向前端拋出異常
* @param msg 提示信息
*/
private void responseFail(String msg) {
HttpServletResponse response=((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getResponse();
ResultData<Object> resultData = ResultData.fail(ReturnCode.LIMIT_ERROR.getCode(), msg);
WebUtils.writeJson(response,resultData);
}
}
第四步:給需要限流的接口加上注解
@Slf4j
@RestController
@RequestMapping("/limit")
public class LimitController {
@GetMapping("/test2")
@Limit(key = "limit2", permitsPerSecond = 1, timeout = 500, timeunit = TimeUnit.MILLISECONDS,msg = "當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!")
public String limit2() {
log.info("令牌桶l(fā)imit2獲取令牌成功");
return "ok";
}
@GetMapping("/test3")
@Limit(key = "limit3", permitsPerSecond = 2, timeout = 500, timeunit = TimeUnit.MILLISECONDS,msg = "系統(tǒng)繁忙,請(qǐng)稍后再試!")
public String limit3() {
log.info("令牌桶l(fā)imit3獲取令牌成功");
return "ok";
}
}
第五步:體驗(yàn)效果
通過(guò)訪問(wèn)測(cè)試地址: http://127.0.0.1:8080/limit/test2,反復(fù)刷新并觀察輸出結(jié)果:
正常響應(yīng)時(shí):
{"status":100,"message":"操作成功","data":"ok","timestamp":1632579377104}
觸發(fā)限流時(shí):
{"status":2001,"message":"系統(tǒng)繁忙,請(qǐng)稍后再試!","data":null,"timestamp":1632579332177}
通過(guò)觀察得之,基于自定義注解同樣實(shí)現(xiàn)了接口限流的效果。
小結(jié)
一般在系統(tǒng)上線時(shí)我們通過(guò)對(duì)系統(tǒng)壓測(cè)可以評(píng)估出系統(tǒng)的性能閥值,然后給接口加上合理的限流參數(shù),防止出現(xiàn)大流量請(qǐng)求時(shí)直接壓垮系統(tǒng)。今天我們介紹了幾種常見(jiàn)的限流算法(重點(diǎn)關(guān)注令牌桶算法),基于Guava工具類實(shí)現(xiàn)了接口限流并利用AOP完成了對(duì)限流代碼的優(yōu)化。
在完成優(yōu)化后業(yè)務(wù)代碼和限流代碼解耦,開(kāi)發(fā)人員只要一個(gè)注解,不用關(guān)心限流的實(shí)現(xiàn)邏輯,而且減少了代碼冗余大大提高了代碼可讀性,代碼評(píng)審時(shí)誰(shuí)還能再笑話你?
源碼下載
https://github.com/jianzh5/cloud-blog/
到此這篇關(guān)于SpringBoot 進(jìn)行限流的操作方法的文章就介紹到這了,更多相關(guān)SpringBoot限流內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java基礎(chǔ)之淺談hashCode()和equals()
今天給大家?guī)?lái)的是關(guān)于Java基礎(chǔ)的相關(guān)知識(shí),文章圍繞著hashCode()和equals()展開(kāi),文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
SpringBoot連接MySql數(shù)據(jù)庫(kù)的原理及代碼示例
SpringBoot是一款流行的Java開(kāi)發(fā)框架,它可以輕松地連接各種類型的數(shù)據(jù)庫(kù),包括關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù),本文將介紹SpringBoot是如何連接數(shù)據(jù)庫(kù)的,包括其原理和代碼示例,需要的朋友可以參考下2023-07-07
解決Java調(diào)用BAT批處理不彈出cmd窗口的方法分析
本篇文章是對(duì)Java調(diào)用BAT批處理不彈出cmd窗口的方法進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-05-05
Java實(shí)現(xiàn)各種文件類型轉(zhuǎn)換方式(收藏)
這篇文章主要介紹了Java?各種文件類型轉(zhuǎn)換的方法,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-03-03
mybatis中的if?test判斷入?yún)⒌闹祮?wèn)題
這篇文章主要介紹了mybatis中的if?test判斷入?yún)⒌闹祮?wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-06-06

