ShardingSphere jdbc集成多數(shù)據(jù)源的實現(xiàn)步驟
最近有個項目的幾張表,數(shù)量級在千萬以上,技術(shù)棧是SpringBoot+Mybatis-plus+MySQL。如果使用單表,在進(jìn)行查詢操作,非常耗時,經(jīng)過一番調(diào)研,決定使用分表中間件:ShardingSphere。
ShardingSphere今年4月份成為了 Apache 軟件基金會的頂級項目,目前支持?jǐn)?shù)據(jù)分片、讀寫分離、多數(shù)據(jù)副本、數(shù)據(jù)加密、影子庫壓測等功能,同時兼容多種數(shù)據(jù)庫,通過可插拔架構(gòu),理想情況下,可以做到對業(yè)務(wù)代碼無感知。
ShardingSphere下有兩款成熟的產(chǎn)品:sharding jdbc和sharding proxy
- sharding jdbc:可理解為增強版的 JDBC 驅(qū)動;
- sharding proxy:透明化的數(shù)據(jù)庫代理端,可以看做是一個虛擬的數(shù)據(jù)庫服務(wù)。
集成sharding jdbc
僅是集成sharding jdbc還是很簡單的,為了更好的理解,這里以訂單表為例。
1. 引入依賴
<properties> <sharding-sphere.version>4.1.0</sharding-sphere.version> </properties> <!-- 分庫分表:https://mvnrepository.com/artifact/org.apache.shardingsphere/sharding-jdbc-spring-boot-starter --> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>${sharding-sphere.version}</version> </dependency>
2. 配置分表規(guī)則
spring: shardingsphere: datasource: names: sharding-order-system sharding-order-system: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://127.0.0.1:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: root props: # 日志顯示SQL sql.show: true sharding: tables: # 訂單表 分表:20 order: # 真實表 order_0 actualDataNodes: sharding-order-system.order_$->{0..19} # 分庫策略 databaseStrategy: none: # 分表策略 tableStrategy: inline: shardingColumn: order_key # 分片算法行表達(dá)式,需符合groovy語法 '& Integer.MAX_VALUE' 位運算使hash值為正數(shù) algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}
問題
上面雖然完成了對訂單表(order)的分表,但是sharding jdbc對一些語法不支持,官方的文檔里說的比較籠統(tǒng),如下圖:
像insert into ... select
這些語法是不支持的,**而且對于沒有涉及到分表的語句,也有同樣的限制。**例如,項目里有個SQL:insert into user_temp select * from user;
在集成了sharding jdbc后,即使user表沒有配置分表,執(zhí)行該SQL也會報錯。
官方的問答中提到,使用多數(shù)據(jù)源分別處理分片和不分片的情況,對分表的SQL使用sharding jdbc數(shù)據(jù)源,對不涉及到分表的SQL,使用普通數(shù)據(jù)源。
集成多數(shù)據(jù)源
我們項目中使用到了baomidou團(tuán)隊開源的mybatis-plus,其團(tuán)隊還開源了一個多數(shù)據(jù)源的組件:dynamic-datasource-spring-boot-starter,集成后,使用@DS
注解就可以切換數(shù)據(jù)源,非常方便。
1. 引入依賴
<!-- https://mvnrepository.com/artifact/com.baomidou/dynamic-datasource-spring-boot-starter --> <dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>3.1.1</version> </dependency>
2. 多數(shù)據(jù)源配置
核心思路是將sharding jdbc數(shù)據(jù)源,加入到多數(shù)據(jù)源中。
/** * 動態(tài)數(shù)據(jù)源配置: * * 使用{@link com.baomidou.dynamic.datasource.annotation.DS}注解,切換數(shù)據(jù)源 * * <code>@DS(DataSourceConfiguration.SHARDING_DATA_SOURCE_NAME)</code> * * @author songyinyin * @date 2020/7/27 15:19 */ @Configuration @AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class, SpringBootConfiguration.class}) public class DataSourceConfiguration { /** * 分表數(shù)據(jù)源名稱 */ private static final String SHARDING_DATA_SOURCE_NAME = "gits_sharding"; /** * 動態(tài)數(shù)據(jù)源配置項 */ @Autowired private DynamicDataSourceProperties properties; /** * shardingjdbc有四種數(shù)據(jù)源,需要根據(jù)業(yè)務(wù)注入不同的數(shù)據(jù)源 * * <p>1. 未使用分片, 脫敏的名稱(默認(rèn)): shardingDataSource; * <p>2. 主從數(shù)據(jù)源: masterSlaveDataSource; * <p>3. 脫敏數(shù)據(jù)源:encryptDataSource; * <p>4. 影子數(shù)據(jù)源:shadowDataSource * */ @Lazy @Resource(name = "shardingDataSource") AbstractDataSourceAdapter shardingDataSource; @Bean public DynamicDataSourceProvider dynamicDataSourceProvider() { Map<String, DataSourceProperty> datasourceMap = properties.getDatasource(); return new AbstractDataSourceProvider() { @Override public Map<String, DataSource> loadDataSources() { Map<String, DataSource> dataSourceMap = createDataSourceMap(datasourceMap); // 將 shardingjdbc 管理的數(shù)據(jù)源也交給動態(tài)數(shù)據(jù)源管理 dataSourceMap.put(SHARDING_DATA_SOURCE_NAME, shardingDataSource); return dataSourceMap; } }; } /** * 將動態(tài)數(shù)據(jù)源設(shè)置為首選的 * 當(dāng)spring存在多個數(shù)據(jù)源時, 自動注入的是首選的對象 * 設(shè)置為主要的數(shù)據(jù)源之后,就可以支持shardingjdbc原生的配置方式了 * * @return */ @Primary @Bean public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) { DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource(); dataSource.setPrimary(properties.getPrimary()); dataSource.setStrict(properties.getStrict()); dataSource.setStrategy(properties.getStrategy()); dataSource.setProvider(dynamicDataSourceProvider); dataSource.setP6spy(properties.getP6spy()); dataSource.setSeata(properties.getSeata()); return dataSource; } }
sharding jdbc有四種數(shù)據(jù)源:
- 未使用分片, 脫敏的名稱(默認(rèn)):shardingDataSource;
- 主從數(shù)據(jù)源: masterSlaveDataSource;
- 脫敏數(shù)據(jù)源:encryptDataSource;
- 影子數(shù)據(jù)源:shadowDataSource
需要需要根據(jù)不同的場景,注入不同的數(shù)據(jù)源,本文以分表舉例,所以將shardingDataSource放到了多數(shù)據(jù)源(dataSourceMap)中。
3. 增加多數(shù)據(jù)源配置
在第2步,我們指定了shardingsphere數(shù)據(jù)源的名稱為:gits_sharding
spring: datasource: # 動態(tài)數(shù)據(jù)源配置 dynamic: datasource: master: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://127.0.0.1:3306/gits?useUnicode=true&characterEncoding=utf-8&useSSL=false&rewriteBatchedStatements=true username: root password: root # 指定默認(rèn)數(shù)據(jù)源名稱 primary: master # 分表配置 shardingsphere: datasource: names: sharding-order-system sharding-order-system: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://172.20.20.19:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true username: root password: root props: # 日志顯示SQL sql.show: true sharding: tables: # 訂單表 分表:20 order: # 真實表 order_0 actualDataNodes: sharding-order-system.order_$->{0..19} # 分庫策略 databaseStrategy: none: # 分表策略 tableStrategy: inline: shardingColumn: order_key # 分片算法行表達(dá)式,需符合groovy語法 '& Integer.MAX_VALUE' 位運算使hash值為正數(shù) algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}
這里將默認(rèn)數(shù)據(jù)源指定為了普通數(shù)據(jù)源。
4. 使用
在需要分表的service方法上加上@DS("gits_sharding")
,即可切換為sharding jdbc數(shù)據(jù)源。
@Service @Slf4j public class OrderServiceImpl extends OrderService { @Override @DS("gits_sharding") public List<Order> getOrderByUser(OrderQueryDTO dto) throws Exception { // 省略若干業(yè)務(wù)代碼 ... } }
總結(jié)
sharding jdbc雖然是Apache的頂級項目,但也不是對有所SQL兼容,使用多數(shù)據(jù)源 + sharding jdbc則能跳過很多sharding jdbc的不足。
到此這篇關(guān)于ShardingSphere jdbc集成多數(shù)據(jù)源的實現(xiàn)步驟的文章就介紹到這了,更多相關(guān)ShardingSphere jdbc多數(shù)據(jù)源內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
mybatis 如何返回list<String>類型數(shù)據(jù)
這篇文章主要介紹了mybatis 如何返回list<String>類型數(shù)據(jù)方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-10-10MybatisPlus保存、讀取MySQL中的json字段失敗問題及解決
這篇文章主要介紹了MybatisPlus保存、讀取MySQL中的json字段失敗問題及解決方案,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-07-07SpringBoot項目中org.junit.jupiter.api.Test報錯問題及解決
這篇文章主要介紹了SpringBoot項目中org.junit.jupiter.api.Test報錯問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11mybatis-plus配置控制臺打印完整帶參數(shù)SQL語句的實現(xiàn)
這篇文章主要介紹了mybatis-plus配置控制臺打印完整帶參數(shù)SQL語句,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08Java web.xml之contextConfigLocation作用案例詳解
這篇文章主要介紹了Java web.xml之contextConfigLocation作用案例詳解,本篇文章通過簡要的案例,講解了該項技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-08-08