springboot執(zhí)行延時任務之DelayQueue實例
springboot執(zhí)行延時任務之DelayQueue
提示:下面案例可供參考
DelayQueue是什么?
DelayQueue提供了在指定時間才能獲取隊列元素的功能,隊列頭元素是最接近過期的元素。
沒有過期元素的話,使用poll()方法會返回null值,超時判定是通過getDelay(TimeUnit.NANOSECONDS)方法的返回值小于等于0來判斷。
延時隊列不能存放空元素。
一般使用take()方法阻塞等待,有過期元素時繼續(xù)。
使用步驟
1.隊列中的元素–DelayTask
代碼如下(示例):
import java.util.Date; import java.util.concurrent.Delayed; import java.util.concurrent.TimeUnit; /** * @author * @Time 2020/11/23 10:53 * @description: DelayTask延時任務隊列中元素 */ public class DelayTask implements Delayed { final private HotelRabbitMq data; final private long expire; /** * 構造延時任務 * @param data 業(yè)務數據 * @param expire 任務延時時間(ms) */ public DelayTask(xx data, long expire) { super(); this.data = data; this.expire = expire + System.currentTimeMillis(); } public HotelRabbitMq getData() { return data; } public long getExpire() { return expire; } @Override public boolean equals(Object obj) { if (obj instanceof DelayTask) { return this.data.getIdentifier().equals(((DelayTask) obj).getData().getIdentifier()); } return false; } @Override public String toString() { return "{" + "data:" + data.toString() + "," + "expire:" + new Date(expire) + "}"; } @Override public long getDelay(TimeUnit unit) { return unit.convert(this.expire - System.currentTimeMillis(), unit); } @Override public int compareTo(Delayed o) { long delta = getDelay(TimeUnit.NANOSECONDS) - o.getDelay(TimeUnit.NANOSECONDS); return (int) delta; } }
2.用戶自定義的業(yè)務數據基類
TaskBase類是用戶自定義的業(yè)務數據基類,其中有一個identifier字段來標識任務的id,方便進行索引
代碼如下(示例):
xx 類按自己需求定義
3.定義延時任務管理類DelayQueueManager
定義一個延時任務管理類DelayQueueManager,通過@Component注解加入到spring中管理,在需要使用的地方通過@Autowire注入
代碼如下(示例):
import com.alibaba.fastjson.JSON; import org.fh.config.RabbitProducer; import org.fh.entity.dyne.HotelRabbitMq; import org.fh.entity.dyne.HotelRegister; import org.fh.entity.util.TaskBase; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.boot.CommandLineRunner; import org.springframework.stereotype.Component; import java.util.concurrent.DelayQueue; import java.util.concurrent.Executors; /** * @author * @Time 2020/11/23 10:59 * @description: DelayQueueManager延時任務管理類 */ @Component public class DelayQueueManager implements CommandLineRunner { @Autowired RabbitProducer rabbitProducer; private final Logger logger = LoggerFactory.getLogger(DelayQueueManager.class); private DelayQueue<DelayTask> delayQueue = new DelayQueue<>(); /** * 加入到延時隊列中 * @param task */ public void put(DelayTask task) { logger.info("加入延時任務:{}", task); delayQueue.put(task); } /** * 取消延時任務 * @param task * @return */ public boolean remove(DelayTask task) { logger.info("取消延時任務:{}", task); return delayQueue.remove(task); } /** * 取消延時任務 * @param taskid * @return */ public boolean remove(String taskid) { return remove(new DelayTask(new HotelRabbitMq(taskid), 0)); } @Override public void run(String... args) throws Exception { logger.info("初始化延時隊列"); Executors.newSingleThreadExecutor().execute(new Thread(this::excuteThread)); } /** * 延時任務執(zhí)行線程 */ private void excuteThread() { while (true) { try { DelayTask task = delayQueue.take(); processTask(task); } catch (InterruptedException e) { break; } } } /** * 內部執(zhí)行延時任務 * @param task */ private void processTask(DelayTask task) { logger.info("執(zhí)行延時任務:{}", task); //根據task中的data自定義數據來處理相關邏輯,例 if (task.getData() instanceof XXX) {} //發(fā)送rabbitmq //rabbitProducer.sendDemoQueue(task.getData()); } public void put(HotelRegister hotelRegister, int i) { } }
日常開發(fā)延遲任務
在開發(fā)中,往往會遇到一些關于延時任務的需求。例如
- 生成訂單30分鐘未支付,則自動取消
- 生成訂單60秒后,給用戶發(fā)短信
對上述的任務,我們給一個專業(yè)的名字來形容,那就是延時任務。延時任務屬于定時任務的一種,不同于一般的定時任務,延時任務是在某事件觸發(fā)后的未來某個時刻執(zhí)行,沒有重復的執(zhí)行周期。
技術對比
1.DelayQueue
JDK自帶DelayQueue是支持延時獲取元素的阻塞隊列,內部采用優(yōu)先隊列PriorityQueue 存儲元素,同時元素必須實現 Delayed 接口
創(chuàng)建元素時可以指定多久才可以從隊列中獲取當前隊列中獲取當前元素,只有當延遲期滿時才能從隊列中提取元素
DelayQueue屬于排序隊列,它的特殊之處在于隊列的元素必須實現Delayed接口,該接口需要實現compareTo和getDelay方法
getDelay
方法:獲取元素在隊列中的剩余時間,只有當剩余時間為0時元素才可以出隊列。compareTo
方法:用于排序,確定元素出隊列的順序。
在springboot中的實現
1:在測試包jdk下創(chuàng)建延遲任務元素對象DelayedTask,實現compareTo和getDelay方法,
2:在main方法中創(chuàng)建DelayQueue并向延遲隊列中添加三個延遲任務,
3:循環(huán)的從延遲隊列中拉取任務
public class DelayedTask implements Delayed{ // 任務的執(zhí)行時間 private int executeTime = 0; public DelayedTask(int delay){ Calendar calendar = Calendar.getInstance(); calendar.add(Calendar.SECOND,delay); this.executeTime = (int)(calendar.getTimeInMillis() /1000 ); } /** * 元素在隊列中的剩余時間 * @param unit * @return */ @Override public long getDelay(TimeUnit unit) { Calendar calendar = Calendar.getInstance(); return executeTime - (calendar.getTimeInMillis()/1000); } /** * 元素排序 * @param o * @return */ @Override public int compareTo(Delayed o) { long val = this.getDelay(TimeUnit.NANOSECONDS) - o.getDelay(TimeUnit.NANOSECONDS); return val == 0 ? 0 : ( val < 0 ? -1: 1 ); } public static void main(String[] args) { DelayQueue<DelayedTask> queue = new DelayQueue<DelayedTask>(); queue.add(new DelayedTask(5)); queue.add(new DelayedTask(10)); queue.add(new DelayedTask(15)); System.out.println(System.currentTimeMillis()/1000+" start consume "); while(queue.size() != 0){ DelayedTask delayedTask = queue.poll(); if(delayedTask !=null ){ System.out.println(System.currentTimeMillis()/1000+" cosume task"); } //每隔一秒消費一次 try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } } } }
使用DelayQueue的問題:
- 1.都是在內存中運行,如果宕機,數據全部消失
- 2.集群擴展相當麻煩
- 3.占用大量內存,影響性能
- 4.代碼復雜度高
2.DB輪詢
數據庫方案
將任務存在數據庫中,然后使用定時器輪詢
不足:小型系統(tǒng)如果只有幾萬任務,采用上述方案即可。如果大規(guī)模系統(tǒng),任務量過大,對數據庫造成的壓力很大 。頻繁查詢數據庫帶來性能影響
3.數據庫+緩存(redis)實現
zset數據類型的去重有序(分數排序)特點進行延遲
實現流程
特殊情況:如果redis宕機導致數據無法恢復,那么需要有一種機制在系統(tǒng)啟動后,重新加載全部未處理的任務到Cache中,此方案作為應急補充方案
問題思路:
為什么將任務放在數據庫中?
延遲任務是一個通用的服務,任何需要延遲的任務都可以調用該任務,需要考慮數據持久化問題,存儲數據庫中是一種數據安全的考慮(備份機制)
為什么redis中使用兩種數據類型,list和zset? 效率問題,算法的時間復雜度
zset還做了那些優(yōu)化:不同任務不同key,進一步優(yōu)化
未來任務定時刷新支持:
啟動類上添加@EnableScheduling注解,開啟任務調度
執(zhí)行方法上添加
@Scheduled(cron = "0 */1 * * * ?") 每一分鐘執(zhí)行一次
redis key值匹配
方案1:keys模糊匹配
keys的模糊匹配功能很方便也很強大,但是在生產環(huán)境需要慎用!開發(fā)中使用keys的模糊匹配卻發(fā)現redis的CPU使用率極高,所以公司的redis生產環(huán)境將keys命令禁用了!redis是單線程,會被堵塞
方案2:scan
SCAN 命令是一個基于游標的迭代器,SCAN命令每次被調用之后, 都會向用戶返回一個新的游標, 用戶在下次迭代時需要使用這個新游標作為SCAN命令的游標參數, 以此來延續(xù)之前的迭代過程。
- 分布式鎖:解決任務重復執(zhí)行的問題,控制分布式系統(tǒng)有序的去對共享資源進行操作,通過互斥來保證數據的一致性。
- DB同步任務:當redis宕機數據丟失的時候,在系統(tǒng)啟動時執(zhí)行一次
- DB同步任務邏輯:同步方法上添加@PostConstruct注解,1.刪除全部未來隊列數據 2.刪除全部當前隊列數據 3.從任務日志表查詢待執(zhí)行任務 4.遍歷任務添加到緩存
總結
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
Java中StringBuilder字符串類型的操作方法及API整理
Java中的StringBuffer類繼承于AbstractStringBuilder,用來創(chuàng)建非線程安全的字符串類型對象,下面即是對Java中StringBuilder字符串類型的操作方法及API整理2016-05-05JVM---jstack分析Java線程CPU占用,線程死鎖的解決
這篇文章主要介紹了JVM---jstack分析Java線程CPU占用,線程死鎖的解決,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-09-09