欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用dynamic datasource springboot starter實(shí)現(xiàn)多數(shù)據(jù)源及源碼分析

 更新時(shí)間:2021年09月10日 11:55:27   作者:0x2015  
這篇文章主要介紹了使用dynamic-datasource-spring-boot-starter做多數(shù)據(jù)源及源碼分析,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

簡(jiǎn)介

前兩篇博客介紹了用基本的方式做多數(shù)據(jù)源,可以應(yīng)對(duì)一般的情況,但是遇到一些復(fù)雜的情況就需要擴(kuò)展下功能了,比如:動(dòng)態(tài)增減數(shù)據(jù)源、數(shù)據(jù)源分組,純粹多庫(kù) 讀寫分離 一主多從、從其他數(shù)據(jù)庫(kù)或者配置中心讀取數(shù)據(jù)源等等。其實(shí)就算沒有這些需求,使用這個(gè)實(shí)現(xiàn)多數(shù)據(jù)源也比之前使用AbstractRoutingDataSource要便捷的多

dynamic-datasource-spring-boot-starter 是一個(gè)基于springboot的快速集成多數(shù)據(jù)源的啟動(dòng)器。

github: https://github.com/baomidou/dynamic-datasource-spring-boot-starter

文檔: https://github.com/baomidou/dynamic-datasource-spring-boot-starter/wiki

它跟mybatis-plus是一個(gè)生態(tài)圈里的,很容易集成mybatis-plus

特性:

  1. 數(shù)據(jù)源分組,適用于多種場(chǎng)景 純粹多庫(kù) 讀寫分離 一主多從 混合模式。
  2. 內(nèi)置敏感參數(shù)加密和啟動(dòng)初始化表結(jié)構(gòu)schema數(shù)據(jù)庫(kù)database。
  3. 提供對(duì)Druid,Mybatis-Plus,P6sy,Jndi的快速集成。
  4. 簡(jiǎn)化Druid和HikariCp配置,提供全局參數(shù)配置。
  5. 提供自定義數(shù)據(jù)源來源接口(默認(rèn)使用yml或properties配置)。
  6. 提供項(xiàng)目啟動(dòng)后增減數(shù)據(jù)源方案。
  7. 提供Mybatis環(huán)境下的 純讀寫分離 方案。
  8. 使用spel動(dòng)態(tài)參數(shù)解析數(shù)據(jù)源,如從session,header或參數(shù)中獲取數(shù)據(jù)源。(多租戶架構(gòu)神器)
  9. 提供多層數(shù)據(jù)源嵌套切換。(ServiceA >>> ServiceB >>> ServiceC,每個(gè)Service都是不同的數(shù)據(jù)源)
  10. 提供 不使用注解 而 使用 正則 或 spel 來切換數(shù)據(jù)源方案(實(shí)驗(yàn)性功能)。
  11. 基于seata的分布式事務(wù)支持。

實(shí)操

先把坐標(biāo)丟出來

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
    <version>3.1.0</version>
</dependency>

下面抽幾個(gè)用的比較多的應(yīng)用場(chǎng)景介紹

基本使用

使用方法很簡(jiǎn)潔,分兩步走
一:通過yml配置好數(shù)據(jù)源
二:service層里面在想要切換數(shù)據(jù)源的方法上加上@DS注解就行了,也可以加在整個(gè)service層上,方法上的注解優(yōu)先于類上注解

spring:
  datasource:
    dynamic:
      primary: master #設(shè)置默認(rèn)的數(shù)據(jù)源或者數(shù)據(jù)源組,默認(rèn)值即為master
      strict: false #設(shè)置嚴(yán)格模式,默認(rèn)false不啟動(dòng). 啟動(dòng)后在未匹配到指定數(shù)據(jù)源時(shí)候回拋出異常,不啟動(dòng)會(huì)使用默認(rèn)數(shù)據(jù)源.
      datasource:
        master:
          url: jdbc:mysql://127.0.0.1:3306/dynamic
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
        db1:
          url: jdbc:gbase://127.0.0.1:5258/dynamic
          username: root
          password: 123456
          driver-class-name: com.gbase.jdbc.Driver

這就是兩個(gè)不同數(shù)據(jù)源的配置,接下來寫service代碼就行了

# 多主多從
spring:
  datasource:
    dynamic:
      datasource:
        master_1:
        master_2:
        slave_1: 
        slave_2: 
        slave_3:   

如果是多主多從,那么就用數(shù)據(jù)組名稱_xxx,下劃線前面的就是數(shù)據(jù)組名稱,相同組名稱的數(shù)據(jù)源會(huì)放在一個(gè)組下。切換數(shù)據(jù)源時(shí),可以指定具體數(shù)據(jù)源名稱,也可以指定組名然后會(huì)自動(dòng)采用負(fù)載均衡算法切換

# 純粹多庫(kù)(記得設(shè)置primary)
spring:
  datasource:
    dynamic:
      datasource:
        db1:
        db2:
        db3: 
        db4: 
        db5:  

純粹多庫(kù),就一個(gè)一個(gè)往上加就行了

@Service
@DS("master")
public class UserServiceImpl implements UserService {

  @Autowired
  private JdbcTemplate jdbcTemplate;

  public List<Map<String, Object>> selectAll() {
    return jdbcTemplate.queryForList("select * from user");
  }
  
  @Override
  @DS("db1")
  public List<Map<String, Object>> selectByCondition() {
    return jdbcTemplate.queryForList("select * from user where age >10");
  }
}

注解 結(jié)果
沒有@DS 默認(rèn)數(shù)據(jù)源
@DS(“dsName”) dsName可以為組名也可以為具體某個(gè)庫(kù)的名稱

在這里插入圖片描述

通過日志可以發(fā)現(xiàn)我們配置的多數(shù)據(jù)源已經(jīng)被初始化了,如果切換數(shù)據(jù)源也會(huì)看到打印日子的
是不是很便捷,這是官方的例子

集成druid連接池

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.1.22</version>
</dependency>

首先引入依賴

spring:
  autoconfigure:
    exclude: com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure

再排除掉druid原生的自動(dòng)配置

spring:
  datasource: #數(shù)據(jù)庫(kù)鏈接相關(guān)配置
    dynamic:
      druid: #以下是全局默認(rèn)值,可以全局更改
        #監(jiān)控統(tǒng)計(jì)攔截的filters
        filters: stat
        #配置初始化大小/最小/最大
        initial-size: 1
        min-idle: 1
        max-active: 20
        #獲取連接等待超時(shí)時(shí)間
        max-wait: 60000
        #間隔多久進(jìn)行一次檢測(cè),檢測(cè)需要關(guān)閉的空閑連接
        time-between-eviction-runs-millis: 60000
        #一個(gè)連接在池中最小生存的時(shí)間
        min-evictable-idle-time-millis: 300000
        validation-query: SELECT 'x'
        test-while-idle: true
        test-on-borrow: false
        test-on-return: false
        #打開PSCache,并指定每個(gè)連接上PSCache的大小。oracle設(shè)為true,mysql設(shè)為false。分庫(kù)分表較多推薦設(shè)置為false
        pool-prepared-statements: false
        max-pool-prepared-statement-per-connection-size: 20
        stat:
          merge-sql: true
          log-slow-sql: true
          slow-sql-millis: 2000
            primary: master
      datasource:
        master:
          url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&serverTimezone=GMT%2B8
          username: root
          password: root
          driver-class-name: com.mysql.cj.jdbc.Driver
        gbase1:
          url: jdbc:gbase://127.0.0.1:5258/test?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull
          username: gbase
          password: gbase
          driver-class-name: com.gbase.jdbc.Driver
          druid: # 以下參數(shù)針對(duì)每個(gè)庫(kù)可以重新設(shè)置druid參數(shù)
            initial-size:
            validation-query: select 1 FROM DUAL #比如oracle就需要重新設(shè)置這個(gè)
            public-key: #(非全局參數(shù))設(shè)置即表示啟用加密,底層會(huì)自動(dòng)幫你配置相關(guān)的連接參數(shù)和filter。

配置好了就可以了,切換數(shù)據(jù)源的用法和上面的一樣的,打@DS(“db1”)注解到service類或方法上就行了
詳細(xì)配置參考這個(gè)配置類com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceProperties

service嵌套

這個(gè)就是特性的第九條:提供多層數(shù)據(jù)源嵌套切換。(ServiceA >>> ServiceB >>> ServiceC,每個(gè)Service都是不同的數(shù)據(jù)源)
借用源碼中的demo:實(shí)現(xiàn)SchoolService >>> studentService、teacherService

@Service
public class SchoolServiceImpl{
    public void addTeacherAndStudent() {
        teacherService.addTeacherWithTx("ss", 1);
        teacherMapper.addTeacher("test", 111);
        studentService.addStudentWithTx("tt", 2);
    }
}
@Service
@DS("teacher")
public class TeacherServiceImpl {
    public boolean addTeacherWithTx(String name, Integer age) {
        return teacherMapper.addTeacher(name, age);
    }
}
@Service
@DS("student")
public class StudentServiceImpl {
    public boolean addStudentWithTx(String name, Integer age) {
        return studentMapper.addStudent(name, age);
    }
}

這個(gè)addTeacherAndStudent調(diào)用數(shù)據(jù)源切換就是primary ->teacher->primary->student->primary

在這里插入圖片描述

關(guān)于其他demo可以看官方wiki,里面寫了很多用法,這里就不贅述了,重點(diǎn)在于學(xué)習(xí)原理。。。

為什么切換數(shù)據(jù)源不生效或事務(wù)不生效?

這種問題常見于上一節(jié)service嵌套,比如serviceA -> serviceB、serviceC,serviceA
加上@Transaction

簡(jiǎn)單來說:嵌套數(shù)據(jù)源的service中,如果操作了多個(gè)數(shù)據(jù)源,不能在最外層加上@Transaction開啟事務(wù),否則切換數(shù)據(jù)源不生效,因?yàn)檫@屬于分布式事務(wù)了,需要用seata方案解決,如果是單個(gè)數(shù)據(jù)源(不需要切換數(shù)據(jù)源)可以用@Transaction開啟事務(wù),保證每個(gè)數(shù)據(jù)源自己的完整性

下面來粗略的分析加事務(wù)不生效的原因:
它這個(gè)切換數(shù)據(jù)源的原理就是實(shí)現(xiàn)了DataSource接口,實(shí)現(xiàn)了getConnection方法,只要在service中開啟事務(wù),service中對(duì)其他數(shù)據(jù)源操作只會(huì)使用開啟事務(wù)的數(shù)據(jù)源,因?yàn)殚_啟事務(wù)數(shù)據(jù)源會(huì)被緩存下來,可以在DataSourceTransactionManagerdoBegin方法中看見那個(gè)txObject,如果在一個(gè)事務(wù)內(nèi),就會(huì)復(fù)用Connection,所以切換不了數(shù)據(jù)源

/**
	 * This implementation sets the isolation level but ignores the timeout.
	 */
	@Override
	protected void doBegin(Object transaction, TransactionDefinition definition) {
		DataSourceTransactionObject txObject = (DataSourceTransactionObject) transaction;
		Connection con = null;

		try {
			if (!txObject.hasConnectionHolder() ||
					txObject.getConnectionHolder().isSynchronizedWithTransaction()) {
				// 開啟一個(gè)新事務(wù)會(huì)獲取一個(gè)新的Connection,所以會(huì)調(diào)用DataSource接口的getConnection方法,從而切換數(shù)據(jù)源
				Connection newCon = obtainDataSource().getConnection();
				if (logger.isDebugEnabled()) {
					logger.debug("Acquired Connection [" + newCon + "] for JDBC transaction");
				}
				txObject.setConnectionHolder(new ConnectionHolder(newCon), true);
			}

			txObject.getConnectionHolder().setSynchronizedWithTransaction(true);
			// 如果已經(jīng)開啟了事務(wù),就從holder中獲取Connection
			con = txObject.getConnectionHolder().getConnection();
			…………
			}

多數(shù)據(jù)源事務(wù)嵌套
看上面源碼,說是新起一個(gè)事務(wù)才會(huì)重新獲取Connection,才會(huì)成功切換數(shù)據(jù)源,那我在每個(gè)數(shù)據(jù)源的service方法上都加上@Transaction呢?(涉及spring事務(wù)傳播行為

這里做個(gè)小實(shí)驗(yàn),還是上面的例子,serviceA ->(嵌套) serviceB、serviceC,serviceA
加上@Transaction,現(xiàn)在給serviceB和serviceC的方法上也加上@Transaction,就是所有service里被調(diào)用的方法都打上@Transaction注解

@Transactional
public void addTeacherAndStudentWithTx() {
    teacherService.addTeacherWithTx("ss", 1);
    studentService.addStudentWithTx("tt", 2);
    throw new RuntimeException("test");
}

類似這樣,里面兩個(gè)service也都加上了@Transaction

實(shí)際上這樣數(shù)據(jù)源也不會(huì)切換,因?yàn)槟J(rèn)事務(wù)傳播級(jí)別為required,父子service屬于同一事物所以就會(huì)用同一Connection。而這里是多數(shù)據(jù)源,如果把事務(wù)傳播方式改成require_new給子service起新事物,可以切換數(shù)據(jù)源,他們都是獨(dú)立的事務(wù)了,然后父service回滾不會(huì)導(dǎo)致子service回滾(詳見spring事務(wù)傳播),這樣保證了每個(gè)單獨(dú)的數(shù)據(jù)源的數(shù)據(jù)完整性,如果要保證所有數(shù)據(jù)源的完整性,那就用seata分布式事務(wù)框架

@Transactional
public void addTeacherAndStudentWithTx() {
	// 做了數(shù)據(jù)庫(kù)操作
	aaaDao.doSomethings(“test”);
    teacherService.addTeacherWithTx("ss", 1);
    studentService.addStudentWithTx("tt", 2);
    throw new RuntimeException("test");
}

關(guān)于事務(wù)嵌套,還有一種情況就是在外部service里面做DB1的一些操作,然后再調(diào)用DB2、DB3的service,再想保證DB1的事務(wù),就需要在外部service上加@Transaction,如果想讓里面的service正常切換數(shù)據(jù)源,根據(jù)事務(wù)傳播行為,設(shè)置為propagation = Propagation.REQUIRES_NEW就可以了,里面的也能正常切換數(shù)據(jù)源了,因?yàn)樗鼈兪仟?dú)立的事務(wù)

補(bǔ)充:關(guān)于@Transaction操作多數(shù)據(jù)源事務(wù)的問題

 @Transaction
    public void insertDB1andDB2() {
        db1Service.insertOne();
        db2Service.insertOne();
        throw new RuntimeException("test");
    }

類似于上面這種操作,我們通過注入多個(gè)DataSource、DataSourceTransactionManager、SqlSessionFactory、SqlSessionTemplate這四種Bean的方式來實(shí)現(xiàn)多數(shù)據(jù)源(最頂上第一篇博客提到的方式),然后在外部又加上了@Transaction想實(shí)現(xiàn)事務(wù)

我試過在中間拋異常查看能不能正常回滾,結(jié)果發(fā)現(xiàn)只會(huì)有一個(gè)數(shù)據(jù)源的事務(wù)生效,點(diǎn)開@Transaction注解,發(fā)現(xiàn)里面有個(gè)transactionManager屬性,這個(gè)就是指定之前聲明的transactionManager Bean,我們默認(rèn)了DB1的transactionManager為@Primary,所以這時(shí)DB2的事務(wù)就不會(huì)生效,因?yàn)橛玫氖荄B1的TransactionManager。因?yàn)锧Transactional只能指定一個(gè)事務(wù)管理器,并且注解不允許重復(fù),所以就只能使用一個(gè)數(shù)據(jù)源的事務(wù)管理器了。如果DB2中的更新失敗,我想回滾DB1和DB2以進(jìn)行回滾,可以使用ChainedTransactionManager來解決,它可以最后盡最大努力回滾事務(wù)

源碼分析

源碼基于3.1.1版本(20200522)
由于篇幅限制,只截了重點(diǎn)代碼,如果需要看完整代碼可以去github拉,或者點(diǎn)擊下載dynamic-datasource-spring-boot-starter.zip

整體結(jié)構(gòu)

在這里插入圖片描述

拿到代碼要找到入手點(diǎn),這里帶著問題閱讀代碼

自動(dòng)配置怎么實(shí)現(xiàn)的

一般一個(gè)starter的最好入手點(diǎn)就是自動(dòng)配置類,在 META-INF/spring.factories文件中指定自動(dòng)配置類入口

org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceAutoConfiguration

在spring.factories中看到有這個(gè)自動(dòng)配置
所以從核心自動(dòng)配置類DynamicDataSourceAutoConfiguration入手
可以認(rèn)為這就是程序的Main入口

@Slf4j
@Configuration
@AllArgsConstructor
// 以spring.datasource.dynamic為前綴讀取配置
@EnableConfigurationProperties(DynamicDataSourceProperties.class)
// 需要在spring boot的DataSource bean自動(dòng)配置之前注入我們的DataSource bean
@AutoConfigureBefore(DataSourceAutoConfiguration.class)
// 引入了Druid的autoConfig和各種數(shù)據(jù)源連接池的Creator
@Import(value = {DruidDynamicDataSourceConfiguration.class, DynamicDataSourceCreatorAutoConfiguration.class})
// 當(dāng)含有spring.datasource.dynamic配置的時(shí)候啟用這個(gè)autoConfig
@ConditionalOnProperty(prefix = DynamicDataSourceProperties.PREFIX, name = "enabled", havingValue = "true", matchIfMissing = true)
public class DynamicDataSourceAutoConfiguration {

    private final DynamicDataSourceProperties properties;

    /**
     * 多數(shù)據(jù)源加載接口,默認(rèn)從yml中讀取多數(shù)據(jù)源配置
     * @return DynamicDataSourceProvider
     */
    @Bean
    @ConditionalOnMissingBean
    public DynamicDataSourceProvider dynamicDataSourceProvider() {
        Map<String, DataSourceProperty> datasourceMap = properties.getDatasource();
        return new YmlDynamicDataSourceProvider(datasourceMap);
    }

    /**
     * 注冊(cè)自己的動(dòng)態(tài)多數(shù)據(jù)源DataSource
     * @param dynamicDataSourceProvider 各種數(shù)據(jù)源連接池建造者
     * @return DataSource
     */
    @Bean
    @ConditionalOnMissingBean
    public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
        DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
        dataSource.setPrimary(properties.getPrimary());
        dataSource.setStrict(properties.getStrict());
        dataSource.setStrategy(properties.getStrategy());
        dataSource.setProvider(dynamicDataSourceProvider);
        dataSource.setP6spy(properties.getP6spy());
        dataSource.setSeata(properties.getSeata());
        return dataSource;
    }

    /**
     * AOP切面,對(duì)DS注解過的方法進(jìn)行增強(qiáng),達(dá)到切換數(shù)據(jù)源的目的
     * @param dsProcessor 動(dòng)態(tài)參數(shù)解析數(shù)據(jù)源,如果數(shù)據(jù)源名稱以#開頭,就會(huì)進(jìn)入這個(gè)解析器鏈
     * @return advisor
     */
    @Bean
    @ConditionalOnMissingBean
    public DynamicDataSourceAnnotationAdvisor dynamicDatasourceAnnotationAdvisor(DsProcessor dsProcessor) {
        // aop方法攔截器在方法調(diào)用前后做操作
        DynamicDataSourceAnnotationInterceptor interceptor = new DynamicDataSourceAnnotationInterceptor();
        // 動(dòng)態(tài)參數(shù)解析器
        interceptor.setDsProcessor(dsProcessor);
        // 使用AbstractPointcutAdvisor將pointcut和advice連接構(gòu)成切面
        DynamicDataSourceAnnotationAdvisor advisor = new DynamicDataSourceAnnotationAdvisor(interceptor);
        advisor.setOrder(properties.getOrder());
        return advisor;
    }

    /**
     * 動(dòng)態(tài)參數(shù)解析器鏈
     * @return DsProcessor
     */
    @Bean
    @ConditionalOnMissingBean
    public DsProcessor dsProcessor() {
        DsHeaderProcessor headerProcessor = new DsHeaderProcessor();
        DsSessionProcessor sessionProcessor = new DsSessionProcessor();
        DsSpelExpressionProcessor spelExpressionProcessor = new DsSpelExpressionProcessor();
        // 順序header->session->spel 所有以#開頭的參數(shù)都會(huì)從參數(shù)中獲取數(shù)據(jù)源
        headerProcessor.setNextProcessor(sessionProcessor);
        sessionProcessor.setNextProcessor(spelExpressionProcessor);
        return headerProcessor;
    }

    /**
     * 提供不使用注解而使用正則或spel來切換數(shù)據(jù)源方案(實(shí)驗(yàn)性功能)
     * 如果想開啟這個(gè)功能得自己配置注入DynamicDataSourceConfigure Bean
     * @param dynamicDataSourceConfigure dynamicDataSourceConfigure
     * @param dsProcessor dsProcessor
     * @return advisor
     */
    @Bean
    @ConditionalOnBean(DynamicDataSourceConfigure.class)
    public DynamicDataSourceAdvisor dynamicAdvisor(DynamicDataSourceConfigure dynamicDataSourceConfigure, DsProcessor dsProcessor) {
        DynamicDataSourceAdvisor advisor = new DynamicDataSourceAdvisor(dynamicDataSourceConfigure.getMatchers());
        advisor.setDsProcessor(dsProcessor);
        advisor.setOrder(Ordered.HIGHEST_PRECEDENCE);
        return advisor;
    }
}

這里自動(dòng)配置的五個(gè)Bean都是非常重要的,后面會(huì)一一涉及到

這里說說自動(dòng)配置,主要就是上面自動(dòng)配置類的幾個(gè)注解,都寫了注釋,其中重要的是這個(gè)注解:

// 以spring.datasource.dynamic為前綴讀取配置
@EnableConfigurationProperties(DynamicDataSourceProperties.class)

@EnableConfigurationProperties:使使用 @ConfigurationProperties 注解的類生效,主要是用來把properties或者yml配置文件轉(zhuǎn)化為bean來使用的,這個(gè)在實(shí)際使用中非常實(shí)用

@ConfigurationProperties(prefix = DynamicDataSourceProperties.PREFIX)
public class DynamicDataSourceProperties {

    public static final String PREFIX = "spring.datasource.dynamic";
    public static final String HEALTH = PREFIX + ".health";

    /**
     * 必須設(shè)置默認(rèn)的庫(kù),默認(rèn)master
     */
    private String primary = "master";
    /**
     * 是否啟用嚴(yán)格模式,默認(rèn)不啟動(dòng). 嚴(yán)格模式下未匹配到數(shù)據(jù)源直接報(bào)錯(cuò), 非嚴(yán)格模式下則使用默認(rèn)數(shù)據(jù)源primary所設(shè)置的數(shù)據(jù)源
     */
    private Boolean strict = false;
    …………
      /**
     * Druid全局參數(shù)配置
     */
    @NestedConfigurationProperty
    private DruidConfig druid = new DruidConfig();
    /**
     * HikariCp全局參數(shù)配置
     */
    @NestedConfigurationProperty
    private HikariCpConfig hikari = new HikariCpConfig();
    …………
    }

可以發(fā)現(xiàn)之前我們?cè)?strong>spring.datasource.dynamic配置的東西都會(huì)注入到這個(gè)配置Bean中,需要注意的是使用了@NestedConfigurationProperty嵌套了其他的配置類,如果搞不清楚配置項(xiàng)是啥,就直接看看DynamicDataSourceProperties這個(gè)類就清楚了

比如說DruidConfig,這個(gè)DruidConfig是自定義的一個(gè)配置類,不是Druid里面的,它下面有個(gè)toProperties方法,為了實(shí)現(xiàn)yml配置中每個(gè)dataSource下面的durid可以獨(dú)立配置(不配置就使用全局配置的),根據(jù)全局配置和獨(dú)立配置結(jié)合轉(zhuǎn)換為Properties,然后在DruidDataSourceCreator類中根據(jù)這個(gè)配置創(chuàng)建druid連接池

如何集成眾多連接池的

關(guān)于集成連接池配置在上面已經(jīng)提到過了,就是DynamicDataSourceProperties配置類下,但是如何通過這些配置生成真正的數(shù)據(jù)源連接池呢,讓我們來看creator包

在這里插入圖片描述

看名字就知道支持哪幾種數(shù)據(jù)源

在自動(dòng)配置中,配置DataSource的時(shí)候,new了一個(gè)DynamicRoutingDataSource,而它實(shí)現(xiàn)了InitializingBean接口,在bean初始化時(shí)候做一些操作

@Slf4j
public class DynamicRoutingDataSource extends AbstractRoutingDataSource implements InitializingBean, DisposableBean {
    /**
     * 所有數(shù)據(jù)庫(kù)
     */
    private final Map<String, DataSource> dataSourceMap = new LinkedHashMap<>();
    /**
     * 分組數(shù)據(jù)庫(kù)
     */
    private final Map<String, DynamicGroupDataSource> groupDataSources = new ConcurrentHashMap<>();
	省略部分代碼…………

	/**
     * 添加數(shù)據(jù)源
     *
     * @param ds         數(shù)據(jù)源名稱
     * @param dataSource 數(shù)據(jù)源
     */
    public synchronized void addDataSource(String ds, DataSource dataSource) {
        // 如果數(shù)據(jù)源不存在則保存一個(gè)
        if (!dataSourceMap.containsKey(ds)) {
            // 包裝seata、p6spy插件
            dataSource = wrapDataSource(ds, dataSource);
            // 保存到所有數(shù)據(jù)源map
            dataSourceMap.put(ds, dataSource);
            // 對(duì)其進(jìn)行分組并保存map
            this.addGroupDataSource(ds, dataSource);
            log.info("dynamic-datasource - load a datasource named [{}] success", ds);
        } else {
            log.warn("dynamic-datasource - load a datasource named [{}] failed, because it already exist", ds);
        }
    }
    // 包裝seata、p6spy插件的方法
    private DataSource wrapDataSource(String ds, DataSource dataSource) {
        if (p6spy) {
            dataSource = new P6DataSource(dataSource);
            log.debug("dynamic-datasource [{}] wrap p6spy plugin", ds);
        }
        if (seata) {
            dataSource = new DataSourceProxy(dataSource);
            log.debug("dynamic-datasource [{}] wrap seata plugin", ds);
        }
        return dataSource;
    }
    // 添加分組數(shù)據(jù)源的方法
    private void addGroupDataSource(String ds, DataSource dataSource) {
        // 分組用_下劃線分割
        if (ds.contains(UNDERLINE)) {
            // 獲取組名
            String group = ds.split(UNDERLINE)[0];
            // 如果已存在組,則往里面添加數(shù)據(jù)源
            if (groupDataSources.containsKey(group)) {
                groupDataSources.get(group).addDatasource(dataSource);
            } else {
                try {
                    // 否則創(chuàng)建一個(gè)新的分組
                    DynamicGroupDataSource groupDatasource = new DynamicGroupDataSource(group, strategy.newInstance());
                    groupDatasource.addDatasource(dataSource);
                    groupDataSources.put(group, groupDatasource);
                } catch (Exception e) {
                    log.error("dynamic-datasource - add the datasource named [{}] error", ds, e);
                    dataSourceMap.remove(ds);
                }
            }
        }
    }
   @Override
    public void afterPropertiesSet() throws Exception {
        // 通過配置加載數(shù)據(jù)源
        Map<String, DataSource> dataSources = provider.loadDataSources();
        // 添加并分組數(shù)據(jù)源
        for (Map.Entry<String, DataSource> dsItem : dataSources.entrySet()) {
            addDataSource(dsItem.getKey(), dsItem.getValue());
        }
        // 檢測(cè)默認(rèn)數(shù)據(jù)源設(shè)置
        if (groupDataSources.containsKey(primary)) {
            log.info("dynamic-datasource initial loaded [{}] datasource,primary group datasource named [{}]", dataSources.size(), primary);
        } else if (dataSourceMap.containsKey(primary)) {
            log.info("dynamic-datasource initial loaded [{}] datasource,primary datasource named [{}]", dataSources.size(), primary);
        } else {
            throw new RuntimeException("dynamic-datasource Please check the setting of primary");
        }
    }
}

這個(gè)類就是核心的動(dòng)態(tài)數(shù)據(jù)源組件,它將DataSource維護(hù)在map里,這里重點(diǎn)看如何創(chuàng)建數(shù)據(jù)源連接池
它所做的操作就是初始化時(shí)從provider獲取創(chuàng)建好的數(shù)據(jù)源map,然后解析這個(gè)map對(duì)其分組,來看看這個(gè)provider里面是如何創(chuàng)建這個(gè)map的

@Bean
    @ConditionalOnMissingBean
    public DynamicDataSourceProvider dynamicDataSourceProvider() {
        Map<String, DataSourceProperty> datasourceMap = properties.getDatasource();
        return new YmlDynamicDataSourceProvider(datasourceMap);
    }

在自動(dòng)配置中,注入的是這個(gè)bean,就是通過yml讀取配置文件的(后面還有通過jdbc讀取配置文件),重點(diǎn)不在這里,這是后面要提到的
通過跟蹤provider.loadDataSources();發(fā)現(xiàn)在createDataSourceMap方法中調(diào)用的是dataSourceCreator.createDataSource(dataSourceProperty)

@Slf4j
@Setter
public class DataSourceCreator {
  	/**
     * 是否存在druid
     */
    private static Boolean druidExists = false;
    /**
     * 是否存在hikari
     */
    private static Boolean hikariExists = false;

    static {
        try {
            Class.forName(DRUID_DATASOURCE);
            druidExists = true;
            log.debug("dynamic-datasource detect druid,Please Notice \n " +
                    "https://github.com/baomidou/dynamic-datasource-spring-boot-starter/wiki/Integration-With-Druid");
        } catch (ClassNotFoundException ignored) {
        }
        try {
            Class.forName(HIKARI_DATASOURCE);
            hikariExists = true;
        } catch (ClassNotFoundException ignored) {
        }
    }
	…………
 	/**
     * 創(chuàng)建數(shù)據(jù)源
     *
     * @param dataSourceProperty 數(shù)據(jù)源信息
     * @return 數(shù)據(jù)源
     */
    public DataSource createDataSource(DataSourceProperty dataSourceProperty) {
        DataSource dataSource;
        //如果是jndi數(shù)據(jù)源
        String jndiName = dataSourceProperty.getJndiName();
        if (jndiName != null && !jndiName.isEmpty()) {
            dataSource = createJNDIDataSource(jndiName);
        } else {
            Class<? extends DataSource> type = dataSourceProperty.getType();
            // 連接池類型,如果不設(shè)置就自動(dòng)根據(jù)Druid > HikariCp的順序查找
            if (type == null) {
                if (druidExists) {
                    dataSource = createDruidDataSource(dataSourceProperty);
                } else if (hikariExists) {
                    dataSource = createHikariDataSource(dataSourceProperty);
                } else {
                    dataSource = createBasicDataSource(dataSourceProperty);
                }
            } else if (DRUID_DATASOURCE.equals(type.getName())) {
                dataSource = createDruidDataSource(dataSourceProperty);
            } else if (HIKARI_DATASOURCE.equals(type.getName())) {
                dataSource = createHikariDataSource(dataSourceProperty);
            } else {
                dataSource = createBasicDataSource(dataSourceProperty);
            }
        }
        this.runScrip(dataSourceProperty, dataSource);
        return dataSource;
    }
    …………
   }

重點(diǎn)就在這里,根據(jù)配置中的type或連接池的class來判斷該創(chuàng)建哪種連接池

@Data
@AllArgsConstructor
public class HikariDataSourceCreator {

    private HikariCpConfig hikariCpConfig;

    public DataSource createDataSource(DataSourceProperty dataSourceProperty) {
        HikariConfig config = dataSourceProperty.getHikari().toHikariConfig(hikariCpConfig);
        config.setUsername(dataSourceProperty.getUsername());
        config.setPassword(dataSourceProperty.getPassword());
        config.setJdbcUrl(dataSourceProperty.getUrl());
        config.setDriverClassName(dataSourceProperty.getDriverClassName());
        config.setPoolName(dataSourceProperty.getPoolName());
        return new HikariDataSource(config);
    }
}

比如說創(chuàng)建hikari連接池,就在這個(gè)creator中創(chuàng)建了真正的hikari連接池,創(chuàng)建完后放在dataSourceMap維護(hù)起來

DS注解如何被攔截處理的

注解攔截處理離不開AOP,所以這里介紹代碼中如何使用AOP的

在這里插入圖片描述

/**
     * AOP切面,對(duì)DS注解過的方法進(jìn)行增強(qiáng),達(dá)到切換數(shù)據(jù)源的目的
     * @param dsProcessor 動(dòng)態(tài)參數(shù)解析數(shù)據(jù)源,如果數(shù)據(jù)源名稱以#開頭,就會(huì)進(jìn)入這個(gè)解析器鏈
     * @return advisor
     */
    @Bean
    @ConditionalOnMissingBean
    public DynamicDataSourceAnnotationAdvisor dynamicDatasourceAnnotationAdvisor(DsProcessor dsProcessor) {
        // aop方法攔截器在方法調(diào)用前后做操作
        DynamicDataSourceAnnotationInterceptor interceptor = new DynamicDataSourceAnnotationInterceptor();
        // 動(dòng)態(tài)參數(shù)解析器
        interceptor.setDsProcessor(dsProcessor);
        // 使用AbstractPointcutAdvisor將pointcut和advice連接構(gòu)成切面
        DynamicDataSourceAnnotationAdvisor advisor = new DynamicDataSourceAnnotationAdvisor(interceptor);
        advisor.setOrder(properties.getOrder());
        return advisor;
    }

    /**
     * 動(dòng)態(tài)參數(shù)解析器鏈
     * @return DsProcessor
     */
    @Bean
    @ConditionalOnMissingBean
    public DsProcessor dsProcessor() {
        DsHeaderProcessor headerProcessor = new DsHeaderProcessor();
        DsSessionProcessor sessionProcessor = new DsSessionProcessor();
        DsSpelExpressionProcessor spelExpressionProcessor = new DsSpelExpressionProcessor();
        // 順序header->session->spel 所有以#開頭的參數(shù)都會(huì)從參數(shù)中獲取數(shù)據(jù)源
        headerProcessor.setNextProcessor(sessionProcessor);
        sessionProcessor.setNextProcessor(spelExpressionProcessor);
        return headerProcessor;
    }

還是從這個(gè)自動(dòng)配置類入手,發(fā)現(xiàn)注入了一個(gè)DynamicDataSourceAnnotationAdvisor bean,它是一個(gè)advisor

閱讀這個(gè)advisor之前,這里多提一點(diǎn)AOP相關(guān)的

在 Spring AOP 中,有 3 個(gè)常用的概念,Advices 、 Pointcut 、 Advisor ,解釋如下:
Advices :表示一個(gè) method 執(zhí)行前或執(zhí)行后的動(dòng)作。
Pointcut :表示根據(jù) method 的名字或者正則表達(dá)式等方式去攔截一個(gè) method 。
Advisor : Advice 和 Pointcut 組成的獨(dú)立的單元,并且能夠傳給 proxy factory 對(duì)象。

@Component
//聲明這是一個(gè)切面Bean
@Aspect
public class ServiceAspect {
    //配置切入點(diǎn),該方法無方法體,主要為方便同類中其他方法使用此處配置的切入點(diǎn)
    @Pointcut("execution(* com.xxx.aop.service..*(..))")
    public void aspect() {
    }

    /*
     * 配置前置通知,使用在方法aspect()上注冊(cè)的切入點(diǎn)
     * 同時(shí)接受JoinPoint切入點(diǎn)對(duì)象,可以沒有該參數(shù)
     */
    @Before("aspect()")
    public void before(JoinPoint joinPoint) {
    }

    //配置后置通知,使用在方法aspect()上注冊(cè)的切入點(diǎn)
    @After("aspect()")
    public void after(JoinPoint joinPoint) {
    }

    //配置環(huán)繞通知,使用在方法aspect()上注冊(cè)的切入點(diǎn)
    @Around("aspect()")
    public void around(JoinPoint joinPoint) {
    }

    //配置后置返回通知,使用在方法aspect()上注冊(cè)的切入點(diǎn)
    @AfterReturning("aspect()")
    public void afterReturn(JoinPoint joinPoint) {
    }

    //配置拋出異常后通知,使用在方法aspect()上注冊(cè)的切入點(diǎn)
    @AfterThrowing(pointcut = "aspect()", throwing = "ex")
    public void afterThrow(JoinPoint joinPoint, Exception ex) {
    }
}

我們平常可能使用這種AspectJ注解多一點(diǎn),通過@Aspect注解的方式來聲明切面,spring會(huì)通過我們的AspectJ注解(比如@Pointcut、@Before) 動(dòng)態(tài)的生成各個(gè)Advisor。

Spring還提供了另一種切面-顧問(Advisor),其可以完成更為復(fù)雜的切面織入功能,我們可以通過直接繼承AbstractPointcutAdvisor來提供切面邏輯。
它們最終都會(huì)生成對(duì)應(yīng)的Advisor實(shí)例

而這里就是使用了繼承AbstractPointcutAdvisor的方式來實(shí)現(xiàn)切面的

在這里插入圖片描述

其中最重要的就是getAdvicegetPointcut方法,可以簡(jiǎn)單的認(rèn)為advisor=advice+pointcut

public class DynamicDataSourceAnnotationAdvisor extends AbstractPointcutAdvisor implements
        BeanFactoryAware {

    // 通知
    private Advice advice;

    // 切入點(diǎn)
    private Pointcut pointcut;

    public DynamicDataSourceAnnotationAdvisor(@NonNull DynamicDataSourceAnnotationInterceptor dynamicDataSourceAnnotationInterceptor) {
        this.advice = dynamicDataSourceAnnotationInterceptor;
        this.pointcut = buildPointcut();
    }

    @Override
    public Pointcut getPointcut() {
        return this.pointcut;
    }

    @Override
    public Advice getAdvice() {
        return this.advice;
    }

    @Override
    public void setBeanFactory(BeanFactory beanFactory) throws BeansException {
        if (this.advice instanceof BeanFactoryAware) {
            ((BeanFactoryAware) this.advice).setBeanFactory(beanFactory);
        }
    }

    private Pointcut buildPointcut() {
        //類級(jí)別
        Pointcut cpc = new AnnotationMatchingPointcut(DS.class, true);
        //方法級(jí)別
        Pointcut mpc = AnnotationMatchingPointcut.forMethodAnnotation(DS.class);
        //對(duì)于類和方法上都可以添加注解的情況
        //類上的注解,最終會(huì)將注解綁定到每個(gè)方法上
        return new ComposablePointcut(cpc).union(mpc);
    }
}

現(xiàn)在再來看@DS注解的advisor實(shí)現(xiàn),在buildPointcut方法里攔截了被@DS注解的方法或類,并且使用ComposablePointcut組合切入點(diǎn),可以實(shí)現(xiàn)方法優(yōu)先級(jí)大于類優(yōu)先級(jí)的特性
發(fā)現(xiàn)advice是通過構(gòu)造方法傳來的,是DynamicDataSourceAnnotationInterceptor,現(xiàn)在來看看這個(gè)

public class DynamicDataSourceAnnotationInterceptor implements MethodInterceptor {

    /**
     * The identification of SPEL.
     */
    private static final String DYNAMIC_PREFIX = "#";
    private static final DataSourceClassResolver RESOLVER = new DataSourceClassResolver();
    @Setter
    private DsProcessor dsProcessor;

    @Override
    public Object invoke(MethodInvocation invocation) throws Throwable {
        try {
            // 這里把獲取到的數(shù)據(jù)源標(biāo)識(shí)如master存入本地線程
            DynamicDataSourceContextHolder.push(determineDatasource(invocation));
            return invocation.proceed();
        } finally {
            DynamicDataSourceContextHolder.poll();
        }
    }

    private String determineDatasource(MethodInvocation invocation) throws Throwable {
        //獲得DS注解的方法
        Method method = invocation.getMethod();
        DS ds = method.isAnnotationPresent(DS.class) ? method.getAnnotation(DS.class)
                : AnnotationUtils.findAnnotation(RESOLVER.targetClass(invocation), DS.class);
        //獲得DS注解的內(nèi)容
        String key = ds.value();
        //如果DS注解內(nèi)容是以#開頭解析動(dòng)態(tài)最終值否則直接返回
        return (!key.isEmpty() && key.startsWith(DYNAMIC_PREFIX)) ? dsProcessor.determineDatasource(invocation, key) : key;
    }
}

這是它的advice通知,也可以說是方法攔截器,在要切換數(shù)據(jù)源的方法前,將切換的數(shù)據(jù)源放入了holder里,方法執(zhí)行完后在finally中釋放掉,也就是在這里做了當(dāng)前數(shù)據(jù)源的切換。下面的determineDatasource決定數(shù)據(jù)源的方法中判斷了以#開頭解析動(dòng)態(tài)參數(shù)數(shù)據(jù)源,這個(gè)功能就是特性中說的使用spel動(dòng)態(tài)參數(shù)解析數(shù)據(jù)源,如從session,header或參數(shù)中獲取數(shù)據(jù)源。

剩下的還有個(gè)DynamicDataSourceAdvisor,這個(gè)功能是特性八的提供不使用注解而使用正則或spel來切換數(shù)據(jù)源方案(實(shí)驗(yàn)性功能),這里就不介紹這塊了

多數(shù)據(jù)源動(dòng)態(tài)切換及如何管理多數(shù)據(jù)源

在上一節(jié)AOP實(shí)現(xiàn)里面的MethodInterceptor里,在方法前后調(diào)用了DynamicDataSourceContextHolder.push()和poll(),這個(gè)holder類似于前一篇博客使用AbstractRoutingDataSource做多數(shù)據(jù)源動(dòng)態(tài)切換用的holder,只是這里做了點(diǎn)改造

public final class DynamicDataSourceContextHolder {

    /**
     * 為什么要用鏈表存儲(chǔ)(準(zhǔn)確的是棧)
     * <pre>
     * 為了支持嵌套切換,如ABC三個(gè)service都是不同的數(shù)據(jù)源
     * 其中A的某個(gè)業(yè)務(wù)要調(diào)B的方法,B的方法需要調(diào)用C的方法。一級(jí)一級(jí)調(diào)用切換,形成了鏈。
     * 傳統(tǒng)的只設(shè)置當(dāng)前線程的方式不能滿足此業(yè)務(wù)需求,必須使用棧,后進(jìn)先出。
     * </pre>
     */
    private static final ThreadLocal<Deque<String>> LOOKUP_KEY_HOLDER = new NamedThreadLocal<Deque<String>>("dynamic-datasource") {
        @Override
        protected Deque<String> initialValue() {
            return new ArrayDeque<>();
        }
    };

    private DynamicDataSourceContextHolder() {
    }

    /**
     * 獲得當(dāng)前線程數(shù)據(jù)源
     *
     * @return 數(shù)據(jù)源名稱
     */
    public static String peek() {
        return LOOKUP_KEY_HOLDER.get().peek();
    }

    /**
     * 設(shè)置當(dāng)前線程數(shù)據(jù)源
     * <p>
     * 如非必要不要手動(dòng)調(diào)用,調(diào)用后確保最終清除
     * </p>
     *
     * @param ds 數(shù)據(jù)源名稱
     */
    public static void push(String ds) {
        LOOKUP_KEY_HOLDER.get().push(StringUtils.isEmpty(ds) ? "" : ds);
    }

    /**
     * 清空當(dāng)前線程數(shù)據(jù)源
     * <p>
     * 如果當(dāng)前線程是連續(xù)切換數(shù)據(jù)源 只會(huì)移除掉當(dāng)前線程的數(shù)據(jù)源名稱
     * </p>
     */
    public static void poll() {
        Deque<String> deque = LOOKUP_KEY_HOLDER.get();
        deque.poll();
        if (deque.isEmpty()) {
            LOOKUP_KEY_HOLDER.remove();
        }
    }

    /**
     * 強(qiáng)制清空本地線程
     * <p>
     * 防止內(nèi)存泄漏,如手動(dòng)調(diào)用了push可調(diào)用此方法確保清除
     * </p>
     */
    public static void clear() {
        LOOKUP_KEY_HOLDER.remove();
    }
}

它使用了棧這個(gè)數(shù)據(jù)結(jié)構(gòu)當(dāng)前數(shù)據(jù)源,使用了ArrayDeque這個(gè)線程不安全的雙端隊(duì)列容器來實(shí)現(xiàn)棧功能,它作為棧性能比Stack好,現(xiàn)在不推薦用老容器
用棧的話,嵌套過程中push,出去就pop,實(shí)現(xiàn)了這個(gè)嵌套調(diào)用service的業(yè)務(wù)需求

現(xiàn)在來看切換數(shù)據(jù)源的核心類

在這里插入圖片描述

在之前做動(dòng)態(tài)數(shù)據(jù)源切換的時(shí)候,我們利用Spring的AbstractRoutingDataSource做多數(shù)據(jù)源動(dòng)態(tài)切換,它實(shí)現(xiàn)了DataSource接口,重寫了getConnection方法
在這里切換數(shù)據(jù)源原理也是如此,它自己寫了一個(gè)AbstractRoutingDataSource類,不是spring的那個(gè),現(xiàn)在來看看這個(gè)類

public abstract class AbstractRoutingDataSource extends AbstractDataSource {

    /**
     * 子類實(shí)現(xiàn)決定最終數(shù)據(jù)源
     *
     * @return 數(shù)據(jù)源
     */
    protected abstract DataSource determineDataSource();

    @Override
    public Connection getConnection() throws SQLException {
        return determineDataSource().getConnection();
    }

    @Override
    public Connection getConnection(String username, String password) throws SQLException {
        return determineDataSource().getConnection(username, password);
    }

    @Override
    @SuppressWarnings("unchecked")
    public <T> T unwrap(Class<T> iface) throws SQLException {
        if (iface.isInstance(this)) {
            return (T) this;
        }
        return determineDataSource().unwrap(iface);
    }

    @Override
    public boolean isWrapperFor(Class<?> iface) throws SQLException {
        return (iface.isInstance(this) || determineDataSource().isWrapperFor(iface));
    }
}

可以發(fā)現(xiàn)也是實(shí)現(xiàn)了DataSource接口的getConnection方法,現(xiàn)在來看下子類如何實(shí)現(xiàn)determineDataSource方法的

public class DynamicRoutingDataSource extends AbstractRoutingDataSource implements InitializingBean, DisposableBean {

    private static final String UNDERLINE = "_";
    /**
     * 所有數(shù)據(jù)庫(kù)
     */
    private final Map<String, DataSource> dataSourceMap = new LinkedHashMap<>();
    /**
     * 分組數(shù)據(jù)庫(kù)
     */
    private final Map<String, DynamicGroupDataSource> groupDataSources = new ConcurrentHashMap<>();
    }
    
    @Override
    public DataSource determineDataSource() {
        return getDataSource(DynamicDataSourceContextHolder.peek());
    }

    private DataSource determinePrimaryDataSource() {
        log.debug("dynamic-datasource switch to the primary datasource");
        return groupDataSources.containsKey(primary) ? groupDataSources.get(primary).determineDataSource() : dataSourceMap.get(primary);
    }
     /**
     * 獲取數(shù)據(jù)源
     *
     * @param ds 數(shù)據(jù)源名稱
     * @return 數(shù)據(jù)源
     */
    public DataSource getDataSource(String ds) {
        if (StringUtils.isEmpty(ds)) {
            return determinePrimaryDataSource();
        } else if (!groupDataSources.isEmpty() && groupDataSources.containsKey(ds)) {
            log.debug("dynamic-datasource switch to the datasource named [{}]", ds);
            return groupDataSources.get(ds).determineDataSource();
        } else if (dataSourceMap.containsKey(ds)) {
            log.debug("dynamic-datasource switch to the datasource named [{}]", ds);
            return dataSourceMap.get(ds);
        }
        if (strict) {
            throw new RuntimeException("dynamic-datasource could not find a datasource named" + ds);
        }
        return determinePrimaryDataSource();
    }
    …………
    }

之前creator生成的數(shù)據(jù)源連接池放入map維護(hù)后,現(xiàn)在獲取數(shù)據(jù)源就是從map中取就行了,可以發(fā)現(xiàn)這里數(shù)據(jù)組優(yōu)先于單數(shù)據(jù)源

數(shù)據(jù)組的負(fù)載均衡怎么做的

在上一節(jié)中,DynamicRoutingDataSource的getDataSource方法里

else if (!groupDataSources.isEmpty() && groupDataSources.containsKey(ds)) {
            log.debug("dynamic-datasource switch to the datasource named [{}]", ds);
            return groupDataSources.get(ds).determineDataSource();
        }

如果數(shù)據(jù)組不為空并且DS注解寫的數(shù)據(jù)組名,那么就會(huì)在數(shù)據(jù)組中選取一個(gè)數(shù)據(jù)源,調(diào)用的determineDataSource方法

@Data
public class DynamicGroupDataSource {

    private String groupName;

    // 數(shù)據(jù)源切換策略
    private DynamicDataSourceStrategy dynamicDataSourceStrategy;

    private List<DataSource> dataSources = new LinkedList<>();

    public DynamicGroupDataSource(String groupName, DynamicDataSourceStrategy dynamicDataSourceStrategy) {
        this.groupName = groupName;
        this.dynamicDataSourceStrategy = dynamicDataSourceStrategy;
    }

    public void addDatasource(DataSource dataSource) {
        dataSources.add(dataSource);
    }

    public void removeDatasource(DataSource dataSource) {
        dataSources.remove(dataSource);
    }

    // 根據(jù)切換策略,決定一個(gè)數(shù)據(jù)源
    public DataSource determineDataSource() {
        return dynamicDataSourceStrategy.determineDataSource(dataSources);
    }

    public int size() {
        return dataSources.size();
    }
}

這是數(shù)據(jù)組的DataSource,里面根據(jù)策略模式來決定一個(gè)數(shù)據(jù)源,目前實(shí)現(xiàn)的就兩種,隨機(jī)和輪詢,默認(rèn)的是輪詢,在DynamicDataSourceProperties屬性中寫了默認(rèn)值,也可以通過配置文件配置

public class LoadBalanceDynamicDataSourceStrategy implements DynamicDataSourceStrategy {

    /**
     * 負(fù)載均衡計(jì)數(shù)器
     */
    private final AtomicInteger index = new AtomicInteger(0);

    @Override
    public DataSource determineDataSource(List<DataSource> dataSources) {
        return dataSources.get(Math.abs(index.getAndAdd(1) % dataSources.size()));
    }
}

這是一個(gè)簡(jiǎn)單的輪詢負(fù)載均衡,我們可以通過自己的業(yè)務(wù)需求,新增一個(gè)策略類來實(shí)現(xiàn)新的負(fù)載均衡算法

如何自定義數(shù)據(jù)配置來源

默認(rèn)是從yml中讀取數(shù)據(jù)源配置的(YmlDynamicDataSourceProvider),實(shí)際業(yè)務(wù)中,我們可能遇到從其他地方獲取配置來創(chuàng)建數(shù)據(jù)源,比如從數(shù)據(jù)庫(kù)、配置中心、mq等等

在這里插入圖片描述

想自定義數(shù)據(jù)來源可以自定義一個(gè)provider實(shí)現(xiàn)DynamicDataSourceProvider接口并繼承AbstractDataSourceProvider類就行了

public interface DynamicDataSourceProvider {
    /**
     * 加載所有數(shù)據(jù)源
     *
     * @return 所有數(shù)據(jù)源,key為數(shù)據(jù)源名稱
     */
    Map<String, DataSource> loadDataSources();
}

如果想通過jdbc獲取數(shù)據(jù)源,它這里有個(gè)抽象類AbstractJdbcDataSourceProvider,需要實(shí)現(xiàn)它的executeStmt方法,就是從其他數(shù)據(jù)庫(kù)查詢出這些信息,url、username、password等等(就是我們?cè)趛ml配置的那些信息),然后拼接成一個(gè)配置對(duì)象DataSourceProperty返回出去調(diào)用createDataSourceMap方法就行了

如何動(dòng)態(tài)增減數(shù)據(jù)源

這個(gè)也是實(shí)際中很實(shí)用的功能,它的實(shí)現(xiàn)還是通過DynamicRoutingDataSource這個(gè)核心動(dòng)態(tài)數(shù)據(jù)源組件來做的

@Slf4j
public class DynamicRoutingDataSource extends AbstractRoutingDataSource implements InitializingBean, DisposableBean {
   /**
     * 所有數(shù)據(jù)庫(kù)
     */
    private final Map<String, DataSource> dataSourceMap = new LinkedHashMap<>();
    /**
     * 分組數(shù)據(jù)庫(kù)
     */
    private final Map<String, DynamicGroupDataSource> groupDataSources = new ConcurrentHashMap<>();
    …………
      /**
     * 獲取當(dāng)前所有的數(shù)據(jù)源
     *
     * @return 當(dāng)前所有數(shù)據(jù)源
     */
    public Map<String, DataSource> getCurrentDataSources() {
        return dataSourceMap;
    }

    /**
     * 獲取的當(dāng)前所有的分組數(shù)據(jù)源
     *
     * @return 當(dāng)前所有的分組數(shù)據(jù)源
     */
    public Map<String, DynamicGroupDataSource> getCurrentGroupDataSources() {
        return groupDataSources;
    }
      /**
     * 添加數(shù)據(jù)源
     *
     * @param ds         數(shù)據(jù)源名稱
     * @param dataSource 數(shù)據(jù)源
     */
    public synchronized void addDataSource(String ds, DataSource dataSource) {
        // 如果數(shù)據(jù)源不存在則保存一個(gè)
        if (!dataSourceMap.containsKey(ds)) {
            // 包裝seata、p6spy插件
            dataSource = wrapDataSource(ds, dataSource);
            // 保存
            dataSourceMap.put(ds, dataSource);
            // 對(duì)其進(jìn)行分組
            this.addGroupDataSource(ds, dataSource);
            log.info("dynamic-datasource - load a datasource named [{}] success", ds);
        } else {
            log.warn("dynamic-datasource - load a datasource named [{}] failed, because it already exist", ds);
        }
    }
    /**
     * 刪除數(shù)據(jù)源
     *
     * @param ds 數(shù)據(jù)源名稱
     */
    public synchronized void removeDataSource(String ds) {
        if (!StringUtils.hasText(ds)) {
            throw new RuntimeException("remove parameter could not be empty");
        }
        if (primary.equals(ds)) {
            throw new RuntimeException("could not remove primary datasource");
        }
        if (dataSourceMap.containsKey(ds)) {
            DataSource dataSource = dataSourceMap.get(ds);
            try {
                closeDataSource(ds, dataSource);
            } catch (Exception e) {
                throw new RuntimeException("dynamic-datasource - remove the database named " + ds + " failed", e);
            }
            dataSourceMap.remove(ds);
            if (ds.contains(UNDERLINE)) {
                String group = ds.split(UNDERLINE)[0];
                if (groupDataSources.containsKey(group)) {
                    groupDataSources.get(group).removeDatasource(dataSource);
                }
            }
            log.info("dynamic-datasource - remove the database named [{}] success", ds);
        } else {
            log.warn("dynamic-datasource - could not find a database named [{}]", ds);
        }
    }
    …………
}

可以發(fā)現(xiàn)它預(yù)留了相關(guān)接口給開發(fā)者,可方便的添加刪除數(shù)據(jù)庫(kù)

添加數(shù)據(jù)源我們需要做的就是:
1、注入DynamicRoutingDataSource和DataSourceCreator
2、通過數(shù)據(jù)源配置(url、username、password等)構(gòu)建一個(gè)DataSourceProperty對(duì)象
3、再通過dataSourceCreator根據(jù)配置構(gòu)建一個(gè)真實(shí)的DataSource
4、最后調(diào)用DynamicRoutingDataSource的addDataSource方法添加這個(gè)DataSource就行了
同理,刪除數(shù)據(jù)源:
1、注入DynamicRoutingDataSource
2、調(diào)用DynamicRoutingDataSource的removeDataSource方法

  @PostMapping("/add")
    @ApiOperation("通用添加數(shù)據(jù)源(推薦)")
    public Set<String> add(@Validated @RequestBody DataSourceDTO dto) {
        DataSourceProperty dataSourceProperty = new DataSourceProperty();
        BeanUtils.copyProperties(dto, dataSourceProperty);
        DynamicRoutingDataSource ds = (DynamicRoutingDataSource) dataSource;
        DataSource dataSource = dataSourceCreator.createDataSource(dataSourceProperty);
        ds.addDataSource(dto.getPollName(), dataSource);
        return ds.getCurrentDataSources().keySet();
    }
    @DeleteMapping
    @ApiOperation("刪除數(shù)據(jù)源")
    public String remove(String name) {
        DynamicRoutingDataSource ds = (DynamicRoutingDataSource) dataSource;
        ds.removeDataSource(name);
        return "刪除成功";
    }

總結(jié)

通過閱讀這塊源碼,涉及到了一些spring aop、spring事務(wù)管理、spring boot自動(dòng)配置等等,可以更加熟悉使用spring的這些擴(kuò)展點(diǎn)、api等,還可以根據(jù)業(yè)務(wù)需求去擴(kuò)展這個(gè)starter

到此這篇關(guān)于使用dynamic-datasource-spring-boot-starter做多數(shù)據(jù)源及源碼分析的文章就介紹到這了,更多相關(guān)dynamic-datasource-spring-boot-starter多數(shù)據(jù)源內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評(píng)論