基于spring+quartz的分布式定時(shí)任務(wù)框架實(shí)現(xiàn)
問題背景
我公司是一個(gè)快速發(fā)展的創(chuàng)業(yè)公司,目前有200人,主要業(yè)務(wù)是旅游和酒店相關(guān)的,應(yīng)用迭代更新周期比較快,因此,開發(fā)人員花費(fèi)了更多的時(shí)間去更=跟上迭代的步伐,而缺乏了對整個(gè)系統(tǒng)的把控
沒有集群之前,公司定時(shí)任務(wù)的實(shí)現(xiàn)方式
在初期應(yīng)用的訪問量并不是那么大,一臺服務(wù)器完全滿足使用,應(yīng)用中有很多定時(shí)任務(wù)需要執(zhí)行
有了集群之后,公司定時(shí)任務(wù)實(shí)現(xiàn)的方式
隨著用戶的增加,訪問量也就隨之增加,一臺服務(wù)器滿足不了高并發(fā)的要求,因此公司把應(yīng)用給部署到集群中,前端通過nginx代理(應(yīng)用服務(wù)器ip可能是用防火墻進(jìn)行了隔離,避免了直接使用ip+端口+應(yīng)用名訪問的方式)。
在集群環(huán)境中,同樣的定時(shí)任務(wù),在集群中的每臺機(jī)器都會執(zhí)行,這樣定時(shí)任務(wù)就會重復(fù)執(zhí)行,不但會增加服務(wù)器的負(fù)擔(dān),還會因?yàn)槎〞r(shí)任務(wù)重復(fù)執(zhí)行造成額外的不可預(yù)期的錯(cuò)誤,因此公司的解決方案是:根據(jù)集群的數(shù)量,來把定時(shí)任務(wù)中的任務(wù)平均分到集群中的每臺機(jī)器上(這里的平均分是指以前一個(gè)定時(shí)任務(wù)本來是在一臺機(jī)器上運(yùn)行,先在人為的把這個(gè)任務(wù)分成幾部分,讓所有的機(jī)器都去執(zhí)行這個(gè)人去)
目前集群中定時(shí)任務(wù)實(shí)現(xiàn)方式的缺陷
目前公司在集群中處理定時(shí)任務(wù)的方式不是正真的分布式處理方式,而是一種偽分布式(公司內(nèi)部俗稱土方法),這種方式存在一個(gè)明顯的缺陷就是當(dāng)集群中機(jī)器宕機(jī),那么整個(gè)定時(shí)任務(wù)就會掛掉或者不能一次性跑完,會對業(yè)務(wù)產(chǎn)生嚴(yán)重的影響
針對缺陷的解決方案(本文的重點(diǎn)之處)
利用spring+quartz構(gòu)建一套真正的分布式定時(shí)任務(wù)系統(tǒng),經(jīng)過查閱相關(guān)資料得知:quartz框架是原生就支持分布式定時(shí)任務(wù)的
開發(fā)IDE:Intellij IDEA
JDK版本:1.8
Spring版本:4.2.6
Quartz版本:2.2.1
Spring與Quartz集成配置
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd"> <context:component-scan base-package="com.aaron.clusterquartz.job"/> <bean name="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean"> <!-- tomcat --> <!--<property name="jndiName" value="java:comp/env/jndi/mysql/quartz"/>--> <!-- jboss --> <property name="jndiName" value="jdbc/quartz"/> </bean> <!-- 分布式事務(wù)配置 start --> <!-- 配置線程池--> <bean name="executor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor"> <property name="corePoolSize" value="15"/> <property name="maxPoolSize" value="25"/> <property name="queueCapacity" value="100"/> </bean> <bean name="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource"/> </bean> <!-- 配置調(diào)度任務(wù)--> <bean name="quartzScheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean"> <property name="configLocation" value="classpath:quartz.properties"/> <property name="dataSource" ref="dataSource"/> <property name="transactionManager" ref="transactionManager"/> <!-- 任務(wù)唯一的名稱,將會持久化到數(shù)據(jù)庫--> <property name="schedulerName" value="baseScheduler"/> <!-- 每臺集群機(jī)器部署應(yīng)用的時(shí)候會更新觸發(fā)器--> <property name="overwriteExistingJobs" value="true"/> <property name="applicationContextSchedulerContextKey" value="appli"/> <property name="jobFactory"> <bean class="com.aaron.clusterquartz.autowired.AutowiringSpringBeanJobFactory"/> </property> <property name="triggers"> <list> <ref bean="printCurrentTimeScheduler"/> </list> </property> <property name="jobDetails"> <list> <ref bean="printCurrentTimeJobs"/> </list> </property> <property name="taskExecutor" ref="executor"/> </bean> <!-- 配置Job詳情 --> <bean name="printCurrentTimeJobs" class="org.springframework.scheduling.quartz.JobDetailFactoryBean"> <property name="jobClass" value="com.aaron.clusterquartz.job.PrintCurrentTimeJobs"/> <!--因?yàn)槲沂褂昧藄pring的注解,所以這里可以不用配置scheduler的屬性--> <!--<property name="jobDataAsMap"> <map> <entry key="clusterQuartz" value="com.aaron.framework.clusterquartz.job.ClusterQuartz"/> </map> </property>--> <property name="durability" value="true"/> <property name="requestsRecovery" value="false"/> </bean> <!-- 配置觸發(fā)時(shí)間 --> <bean name="printCurrentTimeScheduler" class="com.aaron.clusterquartz.cron.PersistableCronTriggerFactoryBean"> <property name="jobDetail" ref="printCurrentTimeJobs"/> <property name="cronExpression"> <value>0/10 * * * * ?</value> </property> <property name="timeZone"> <value>GMT+8:00</value> </property> </bean> <!-- 分布式事務(wù)配置 end --> </beans>
quartz屬性文件
#============================================================================ # Configure JobStore # Using Spring datasource in quartzJobsConfig.xml # Spring uses LocalDataSourceJobStore extension of JobStoreCMT #============================================================================ org.quartz.jobStore.useProperties=true org.quartz.jobStore.tablePrefix = QRTZ_ org.quartz.jobStore.isClustered = true org.quartz.jobStore.clusterCheckinInterval = 5000 org.quartz.jobStore.misfireThreshold = 60000 org.quartz.jobStore.txIsolationLevelReadCommitted = true # Change this to match your DB vendor org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate #============================================================================ # Configure Main Scheduler Properties # Needed to manage cluster instances #============================================================================ org.quartz.scheduler.instanceId=AUTO org.quartz.scheduler.instanceName=MY_CLUSTERED_JOB_SCHEDULER org.quartz.scheduler.rmi.export = false org.quartz.scheduler.rmi.proxy = false #============================================================================ # Configure ThreadPool #============================================================================ org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool org.quartz.threadPool.threadCount = 10 org.quartz.threadPool.threadPriority = 5 org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true
相關(guān)類說明
AutowiringSpringBeanJobFactory類是為了可以在scheduler中使用spring注解,如果不使用注解,可以不適用該類,而直接使用
SpringBeanJobFactory
package com.aaron.clusterquartz.autowired; import org.quartz.spi.TriggerFiredBundle; import org.springframework.beans.BeansException; import org.springframework.beans.factory.config.AutowireCapableBeanFactory; import org.springframework.context.ApplicationContext; import org.springframework.context.ApplicationContextAware; import org.springframework.scheduling.quartz.SpringBeanJobFactory; /** * @author * @description 使job類支持spring的自動(dòng)注入 * @date 2016-05-27 */ public class AutowiringSpringBeanJobFactory extends SpringBeanJobFactory implements ApplicationContextAware { private transient AutowireCapableBeanFactory beanFactory; public void setApplicationContext(ApplicationContext applicationContext) throws BeansException { beanFactory = applicationContext.getAutowireCapableBeanFactory(); } @Override protected Object createJobInstance(TriggerFiredBundle bundle) throws Exception { Object job = super.createJobInstance(bundle); beanFactory.autowireBean(job); return job; } }
package com.aaron.clusterquartz.job; import com.arron.util.DateUtils; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.quartz.JobExecutionContext; import org.quartz.JobExecutionException; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.scheduling.quartz.QuartzJobBean; import java.util.Date; /** * @author * @description 一句話描述該文件的用途 * @date 2016-05-23 */ public class PrintCurrentTimeJobs extends QuartzJobBean { private static final Log LOG_RECORD = LogFactory.getLog(PrintCurrentTimeJobs.class); //這里就是因?yàn)橛猩衔闹械腁utowiringSpringBeanJobFactory才可以使用@Autowired注解,否則只能在配置文件中設(shè)置這屬性的值 @Autowired private ClusterQuartz clusterQuartz; protected void executeInternal(JobExecutionContext jobExecutionContext) throws JobExecutionException { LOG_RECORD.info("begin to execute task," + DateUtils.dateToString(new Date())); clusterQuartz.printUserInfo(); LOG_RECORD.info("end to execute task," + DateUtils.dateToString(new Date())); } }
測試結(jié)果:
由于只有一臺電腦,所有我開了8080和8888兩個(gè)端口來測試的,上面的定時(shí)任務(wù)我設(shè)置了每10秒運(yùn)行一次。
當(dāng)只我啟動(dòng)8080端口時(shí),可以看到控制臺每隔10秒打印一條語句
兩個(gè)端口同時(shí)啟動(dòng)的對比測試中可以看到,只有一個(gè)端口在跑定時(shí)任務(wù)
這個(gè)關(guān)了正在跑定時(shí)任務(wù)的端口后,之前的另一個(gè)沒有跑的端口開始接管,繼續(xù)運(yùn)行定時(shí)任務(wù)
至此,我們可以清楚地看到,在分布式定時(shí)任務(wù)中(或者集群),同一時(shí)刻只會有一個(gè)定時(shí)任務(wù)運(yùn)行。
整個(gè)demo地址:http://xiazai.jb51.net/201701/yuanma/spring-cluster-quartz_jb51.rar
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
如何解決Mybatis--java.lang.IllegalArgumentException: Result Maps
這兩天因?yàn)轫?xiàng)目需要整合spring、struts2、mybatis三大框架,但啟動(dòng)的時(shí)候總出現(xiàn)這個(gè)錯(cuò)誤,困擾我好久,折騰了好久終于找到問題根源,下面小編給大家分享下問題所在及解決辦法,一起看看吧2016-12-12如何通過properties文件配置web.xml中的參數(shù)
這篇文章主要介紹了如何通過properties文件配置web.xml中的參數(shù)方法,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-08-08java實(shí)現(xiàn)表格數(shù)據(jù)的存儲
這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)表格數(shù)據(jù)的存儲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-04-04Spring事務(wù)@Transactional注解四種不生效案例場景分析
這篇文章主要為大家介紹了Spring事務(wù)@Transactional注解四種不生效的案例場景示例分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-07-07java swing框架實(shí)現(xiàn)貪吃蛇游戲
這篇文章主要為大家詳細(xì)介紹了java swing框架實(shí)現(xiàn)貪吃蛇游戲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2020-12-12Java中實(shí)體與Map之間的相互轉(zhuǎn)換代碼示例
生活中經(jīng)常用到map數(shù)據(jù)與實(shí)體類的轉(zhuǎn)換,下面這篇文章主要給大家介紹了關(guān)于Java中實(shí)體與Map之間相互轉(zhuǎn)換的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-12-12