springboot執(zhí)行延時(shí)任務(wù)之DelayQueue實(shí)例
springboot執(zhí)行延時(shí)任務(wù)之DelayQueue
提示:下面案例可供參考
DelayQueue是什么?
DelayQueue提供了在指定時(shí)間才能獲取隊(duì)列元素的功能,隊(duì)列頭元素是最接近過(guò)期的元素。
沒(méi)有過(guò)期元素的話,使用poll()方法會(huì)返回null值,超時(shí)判定是通過(guò)getDelay(TimeUnit.NANOSECONDS)方法的返回值小于等于0來(lái)判斷。
延時(shí)隊(duì)列不能存放空元素。
一般使用take()方法阻塞等待,有過(guò)期元素時(shí)繼續(xù)。
使用步驟
1.隊(duì)列中的元素–DelayTask
代碼如下(示例):
import java.util.Date;
import java.util.concurrent.Delayed;
import java.util.concurrent.TimeUnit;
/**
* @author
* @Time 2020/11/23 10:53
* @description: DelayTask延時(shí)任務(wù)隊(duì)列中元素
*/
public class DelayTask implements Delayed {
final private HotelRabbitMq data;
final private long expire;
/**
* 構(gòu)造延時(shí)任務(wù)
* @param data 業(yè)務(wù)數(shù)據(jù)
* @param expire 任務(wù)延時(shí)時(shí)間(ms)
*/
public DelayTask(xx data, long expire) {
super();
this.data = data;
this.expire = expire + System.currentTimeMillis();
}
public HotelRabbitMq getData() {
return data;
}
public long getExpire() {
return expire;
}
@Override
public boolean equals(Object obj) {
if (obj instanceof DelayTask) {
return this.data.getIdentifier().equals(((DelayTask) obj).getData().getIdentifier());
}
return false;
}
@Override
public String toString() {
return "{" + "data:" + data.toString() + "," + "expire:" + new Date(expire) + "}";
}
@Override
public long getDelay(TimeUnit unit) {
return unit.convert(this.expire - System.currentTimeMillis(), unit);
}
@Override
public int compareTo(Delayed o) {
long delta = getDelay(TimeUnit.NANOSECONDS) - o.getDelay(TimeUnit.NANOSECONDS);
return (int) delta;
}
}
2.用戶自定義的業(yè)務(wù)數(shù)據(jù)基類(lèi)
TaskBase類(lèi)是用戶自定義的業(yè)務(wù)數(shù)據(jù)基類(lèi),其中有一個(gè)identifier字段來(lái)標(biāo)識(shí)任務(wù)的id,方便進(jìn)行索引
代碼如下(示例):
xx 類(lèi)按自己需求定義
3.定義延時(shí)任務(wù)管理類(lèi)DelayQueueManager
定義一個(gè)延時(shí)任務(wù)管理類(lèi)DelayQueueManager,通過(guò)@Component注解加入到spring中管理,在需要使用的地方通過(guò)@Autowire注入
代碼如下(示例):
import com.alibaba.fastjson.JSON;
import org.fh.config.RabbitProducer;
import org.fh.entity.dyne.HotelRabbitMq;
import org.fh.entity.dyne.HotelRegister;
import org.fh.entity.util.TaskBase;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;
import java.util.concurrent.DelayQueue;
import java.util.concurrent.Executors;
/**
* @author
* @Time 2020/11/23 10:59
* @description: DelayQueueManager延時(shí)任務(wù)管理類(lèi)
*/
@Component
public class DelayQueueManager implements CommandLineRunner {
@Autowired
RabbitProducer rabbitProducer;
private final Logger logger = LoggerFactory.getLogger(DelayQueueManager.class);
private DelayQueue<DelayTask> delayQueue = new DelayQueue<>();
/**
* 加入到延時(shí)隊(duì)列中
* @param task
*/
public void put(DelayTask task) {
logger.info("加入延時(shí)任務(wù):{}", task);
delayQueue.put(task);
}
/**
* 取消延時(shí)任務(wù)
* @param task
* @return
*/
public boolean remove(DelayTask task) {
logger.info("取消延時(shí)任務(wù):{}", task);
return delayQueue.remove(task);
}
/**
* 取消延時(shí)任務(wù)
* @param taskid
* @return
*/
public boolean remove(String taskid) {
return remove(new DelayTask(new HotelRabbitMq(taskid), 0));
}
@Override
public void run(String... args) throws Exception {
logger.info("初始化延時(shí)隊(duì)列");
Executors.newSingleThreadExecutor().execute(new Thread(this::excuteThread));
}
/**
* 延時(shí)任務(wù)執(zhí)行線程
*/
private void excuteThread() {
while (true) {
try {
DelayTask task = delayQueue.take();
processTask(task);
} catch (InterruptedException e) {
break;
}
}
}
/**
* 內(nèi)部執(zhí)行延時(shí)任務(wù)
* @param task
*/
private void processTask(DelayTask task) {
logger.info("執(zhí)行延時(shí)任務(wù):{}", task);
//根據(jù)task中的data自定義數(shù)據(jù)來(lái)處理相關(guān)邏輯,例 if (task.getData() instanceof XXX) {}
//發(fā)送rabbitmq
//rabbitProducer.sendDemoQueue(task.getData());
}
public void put(HotelRegister hotelRegister, int i) {
}
}
日常開(kāi)發(fā)延遲任務(wù)
在開(kāi)發(fā)中,往往會(huì)遇到一些關(guān)于延時(shí)任務(wù)的需求。例如
- 生成訂單30分鐘未支付,則自動(dòng)取消
- 生成訂單60秒后,給用戶發(fā)短信
對(duì)上述的任務(wù),我們給一個(gè)專(zhuān)業(yè)的名字來(lái)形容,那就是延時(shí)任務(wù)。延時(shí)任務(wù)屬于定時(shí)任務(wù)的一種,不同于一般的定時(shí)任務(wù),延時(shí)任務(wù)是在某事件觸發(fā)后的未來(lái)某個(gè)時(shí)刻執(zhí)行,沒(méi)有重復(fù)的執(zhí)行周期。
技術(shù)對(duì)比
1.DelayQueue
JDK自帶DelayQueue是支持延時(shí)獲取元素的阻塞隊(duì)列,內(nèi)部采用優(yōu)先隊(duì)列PriorityQueue 存儲(chǔ)元素,同時(shí)元素必須實(shí)現(xiàn) Delayed 接口
創(chuàng)建元素時(shí)可以指定多久才可以從隊(duì)列中獲取當(dāng)前隊(duì)列中獲取當(dāng)前元素,只有當(dāng)延遲期滿時(shí)才能從隊(duì)列中提取元素

DelayQueue屬于排序隊(duì)列,它的特殊之處在于隊(duì)列的元素必須實(shí)現(xiàn)Delayed接口,該接口需要實(shí)現(xiàn)compareTo和getDelay方法
getDelay方法:獲取元素在隊(duì)列中的剩余時(shí)間,只有當(dāng)剩余時(shí)間為0時(shí)元素才可以出隊(duì)列。compareTo方法:用于排序,確定元素出隊(duì)列的順序。
在springboot中的實(shí)現(xiàn)
1:在測(cè)試包jdk下創(chuàng)建延遲任務(wù)元素對(duì)象DelayedTask,實(shí)現(xiàn)compareTo和getDelay方法,
2:在main方法中創(chuàng)建DelayQueue并向延遲隊(duì)列中添加三個(gè)延遲任務(wù),
3:循環(huán)的從延遲隊(duì)列中拉取任務(wù)
public class DelayedTask implements Delayed{
// 任務(wù)的執(zhí)行時(shí)間
private int executeTime = 0;
public DelayedTask(int delay){
Calendar calendar = Calendar.getInstance();
calendar.add(Calendar.SECOND,delay);
this.executeTime = (int)(calendar.getTimeInMillis() /1000 );
}
/**
* 元素在隊(duì)列中的剩余時(shí)間
* @param unit
* @return
*/
@Override
public long getDelay(TimeUnit unit) {
Calendar calendar = Calendar.getInstance();
return executeTime - (calendar.getTimeInMillis()/1000);
}
/**
* 元素排序
* @param o
* @return
*/
@Override
public int compareTo(Delayed o) {
long val = this.getDelay(TimeUnit.NANOSECONDS) - o.getDelay(TimeUnit.NANOSECONDS);
return val == 0 ? 0 : ( val < 0 ? -1: 1 );
}
public static void main(String[] args) {
DelayQueue<DelayedTask> queue = new DelayQueue<DelayedTask>();
queue.add(new DelayedTask(5));
queue.add(new DelayedTask(10));
queue.add(new DelayedTask(15));
System.out.println(System.currentTimeMillis()/1000+" start consume ");
while(queue.size() != 0){
DelayedTask delayedTask = queue.poll();
if(delayedTask !=null ){
System.out.println(System.currentTimeMillis()/1000+" cosume task");
}
//每隔一秒消費(fèi)一次
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}使用DelayQueue的問(wèn)題:
- 1.都是在內(nèi)存中運(yùn)行,如果宕機(jī),數(shù)據(jù)全部消失
- 2.集群擴(kuò)展相當(dāng)麻煩
- 3.占用大量?jī)?nèi)存,影響性能
- 4.代碼復(fù)雜度高
2.DB輪詢
數(shù)據(jù)庫(kù)方案
將任務(wù)存在數(shù)據(jù)庫(kù)中,然后使用定時(shí)器輪詢

不足:小型系統(tǒng)如果只有幾萬(wàn)任務(wù),采用上述方案即可。如果大規(guī)模系統(tǒng),任務(wù)量過(guò)大,對(duì)數(shù)據(jù)庫(kù)造成的壓力很大 。頻繁查詢數(shù)據(jù)庫(kù)帶來(lái)性能影響
3.數(shù)據(jù)庫(kù)+緩存(redis)實(shí)現(xiàn)
zset數(shù)據(jù)類(lèi)型的去重有序(分?jǐn)?shù)排序)特點(diǎn)進(jìn)行延遲

實(shí)現(xiàn)流程

特殊情況:如果redis宕機(jī)導(dǎo)致數(shù)據(jù)無(wú)法恢復(fù),那么需要有一種機(jī)制在系統(tǒng)啟動(dòng)后,重新加載全部未處理的任務(wù)到Cache中,此方案作為應(yīng)急補(bǔ)充方案
問(wèn)題思路:
為什么將任務(wù)放在數(shù)據(jù)庫(kù)中?
延遲任務(wù)是一個(gè)通用的服務(wù),任何需要延遲的任務(wù)都可以調(diào)用該任務(wù),需要考慮數(shù)據(jù)持久化問(wèn)題,存儲(chǔ)數(shù)據(jù)庫(kù)中是一種數(shù)據(jù)安全的考慮(備份機(jī)制)
為什么redis中使用兩種數(shù)據(jù)類(lèi)型,list和zset? 效率問(wèn)題,算法的時(shí)間復(fù)雜度
zset還做了那些優(yōu)化:不同任務(wù)不同key,進(jìn)一步優(yōu)化
未來(lái)任務(wù)定時(shí)刷新支持:
啟動(dòng)類(lèi)上添加@EnableScheduling注解,開(kāi)啟任務(wù)調(diào)度
執(zhí)行方法上添加
@Scheduled(cron = "0 */1 * * * ?") 每一分鐘執(zhí)行一次
redis key值匹配
方案1:keys模糊匹配
keys的模糊匹配功能很方便也很強(qiáng)大,但是在生產(chǎn)環(huán)境需要慎用!開(kāi)發(fā)中使用keys的模糊匹配卻發(fā)現(xiàn)redis的CPU使用率極高,所以公司的redis生產(chǎn)環(huán)境將keys命令禁用了!redis是單線程,會(huì)被堵塞

方案2:scan
SCAN 命令是一個(gè)基于游標(biāo)的迭代器,SCAN命令每次被調(diào)用之后, 都會(huì)向用戶返回一個(gè)新的游標(biāo), 用戶在下次迭代時(shí)需要使用這個(gè)新游標(biāo)作為SCAN命令的游標(biāo)參數(shù), 以此來(lái)延續(xù)之前的迭代過(guò)程。

- 分布式鎖:解決任務(wù)重復(fù)執(zhí)行的問(wèn)題,控制分布式系統(tǒng)有序的去對(duì)共享資源進(jìn)行操作,通過(guò)互斥來(lái)保證數(shù)據(jù)的一致性。
- DB同步任務(wù):當(dāng)redis宕機(jī)數(shù)據(jù)丟失的時(shí)候,在系統(tǒng)啟動(dòng)時(shí)執(zhí)行一次
- DB同步任務(wù)邏輯:同步方法上添加@PostConstruct注解,1.刪除全部未來(lái)隊(duì)列數(shù)據(jù) 2.刪除全部當(dāng)前隊(duì)列數(shù)據(jù) 3.從任務(wù)日志表查詢待執(zhí)行任務(wù) 4.遍歷任務(wù)添加到緩存
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
大數(shù)據(jù)Kafka:消息隊(duì)列和Kafka基本介紹
本文對(duì)消息隊(duì)列的應(yīng)用場(chǎng)景,優(yōu)缺點(diǎn),消息隊(duì)列的兩種方式,常見(jiàn)的消息隊(duì)列產(chǎn)品以及Kafka的特點(diǎn)和應(yīng)用場(chǎng)景做了詳細(xì)的講解,需要的朋友可以參考下,希望可以對(duì)大家有所幫助2021-08-08
Java中StringBuilder字符串類(lèi)型的操作方法及API整理
Java中的StringBuffer類(lèi)繼承于AbstractStringBuilder,用來(lái)創(chuàng)建非線程安全的字符串類(lèi)型對(duì)象,下面即是對(duì)Java中StringBuilder字符串類(lèi)型的操作方法及API整理2016-05-05
Mybatis模糊查詢及自動(dòng)映射實(shí)現(xiàn)詳解
這篇文章主要介紹了Mybatis模糊查詢及自動(dòng)映射實(shí)現(xiàn)詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
Java中的HashSet集合存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu)詳解
這篇文章主要介紹了Java中的HashSet集合存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu)詳解,數(shù)組結(jié)構(gòu)他把元素進(jìn)行分組,相同哈希值的元素是一組,鏈表/紅黑樹(shù)結(jié)構(gòu)把相同哈希值的元素鏈接到一起,存儲(chǔ)數(shù)據(jù)到集合中,先計(jì)算元素的哈希值,需要的朋友可以參考下2023-09-09
JVM---jstack分析Java線程CPU占用,線程死鎖的解決
這篇文章主要介紹了JVM---jstack分析Java線程CPU占用,線程死鎖的解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-09-09

