快捷導(dǎo)航

Springboot使用sharedingjdbc實(shí)現(xiàn)分庫分表

更新時(shí)間：2024年07月13日 09:06:03 作者：可樂cc呀

這篇文章主要介紹了Springboot使用sharedingjdbc實(shí)現(xiàn)分庫分表,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

一、簡介

Apache ShardingSphere 是一套開源的分布式數(shù)據(jù)庫解決方案組成的生態(tài)圈，它由 JDBC、Proxy 和 Sidecar（規(guī)劃中）這 3 款既能夠獨(dú)立部署，又支持混合部署配合使用的產(chǎn)品組成。它們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)水平擴(kuò)展、分布式事務(wù)和分布式治理等功能，可適用于如 Java 同構(gòu)、異構(gòu)語言、云原生等各種多樣化的應(yīng)用場景。

Apache ShardingSphere 5.x 版本開始致力于可插拔架構(gòu)，項(xiàng)目的功能組件能夠靈活的以可插拔的方式進(jìn)行擴(kuò)展。

目前，數(shù)據(jù)分片、讀寫分離、數(shù)據(jù)加密、影子庫壓測等功能，以及 MySQL、PostgreSQL、SQLServer、Oracle 等 SQL 與協(xié)議的支持，均通過插件的方式織入項(xiàng)目。

開發(fā)者能夠像使用積木一樣定制屬于自己的獨(dú)特系統(tǒng)。Apache ShardingSphere 目前已提供數(shù)十個(gè) SPI 作為系統(tǒng)的擴(kuò)展點(diǎn)，仍在不斷增加中。

官網(wǎng)：http://shardingsphere.apache.org/index_zh.html
下載地址：https://shardingsphere.apache.org/document/current/cn/downloads/
快速入門：https://shardingsphere.apache.org/document/current/cn/quick-start/shardingsphere-jdbc-quick-start/

二、使用注意事項(xiàng)

使用版本問題，不同版本之間存在差異較大（參數(shù)），請參考官方文檔，切記不可隨意百度
update 時(shí)，不可對分片字段進(jìn)行更新（分片字段必須在規(guī)則上保持固定）
5.1.0版本使用shardingsphere-jdbc-core-spring-boot-starter時(shí)，并且使用druid時(shí)，需要加dbcp依賴
時(shí)間字段作為分片字段時(shí)，需要使用date類型，不可使用localDataTime 或者localDate類型
數(shù)據(jù)分片后主鍵自增問題，需要使用分布式主策略，例如利用redis自增主鍵，雪花算法，UUID等
分頁查詢跨表較大時(shí)候，shareding會進(jìn)行表的union 操作，可能會造成數(shù)據(jù)瓶頸（業(yè)務(wù)上做處理）
不支持自動建表，自動分片功能需自行編碼
部分復(fù)雜查詢不支持，請參考官網(wǎng)：https://shardingsphere.apache.org/document/5.1.0/cn/user-manual/shardingsphere-jdbc/unsupported/

三、項(xiàng)目使用

添加pom依賴

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
</dependency>
<!-- ShardingJDBC 5.1.0使用druid連接池需要加dbcp依賴 -->
<dependency>
    <groupId>org.apache.tomcat</groupId>
    <artifactId>tomcat-dbcp</artifactId>
</dependency>

yml配置信息

spring:
    ### 處理連接池沖突 #####
    main:
        allow-bean-definition-overriding: true
    shardingsphere:
        # 是否啟用 Sharding
        enabled: false
        # 打印sql
        props:
          sql-show: false
        datasource:
            names: ds0
            ds0:
                type: com.alibaba.druid.pool.DruidDataSource
                driver-class-name: com.mysql.cj.jdbc.Driver
#                url: jdbc:mysql://123.57.164.186:13306/digital_constr?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
#                username: root
#                password: JoygisIot@2023
                url: jdbc:mysql://123.57.23.160:13306/digital_constr?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8
                username: root
                password: JoygisIot@2023
                # 數(shù)據(jù)源其他配置
                initialSize: 5
                minIdle: 5
                maxActive: 20
                maxWait: 60000
                timeBetweenEvictionRunsMillis: 60000
                minEvictableIdleTimeMillis: 300000
                validationQuery: SELECT 1 FROM DUAL
                testWhileIdle: true,
                testOnBorrow: false
                testOnReturn: false
                poolPreparedStatements: true
                # 配置監(jiān)控統(tǒng)計(jì)攔截的filters，去掉后監(jiān)控界面sql無法統(tǒng)計(jì)，'wall'用于防火墻
                #filters: stat,wall,log4j
                maxPoolPreparedStatementPerConnectionSize: 20
                useGlobalDataSourceStat: true
                connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=500
        rules:
            sharding:
                # 表策略配置
                tables:
                    # t_user 是邏輯表
                    b_compaction_data:
                        # 配置數(shù)據(jù)節(jié)點(diǎn)，這里是按月分表
                        # 示例1：時(shí)間范圍設(shè)置在202201 ~ 210012
                        # actualDataNodes: mydb.t_user_$->{2022..2100}0$->{1..9},mydb.t_user_$->{2022..2100}1$->{0..2}
                        # 示例2：時(shí)間范圍設(shè)置在202201 ~ 202203
                        #actualDataNodes: ds${0..1}.tmp_order_item
                        actualDataNodes: ds0.b_compaction_data
                        tableStrategy:
                            complex:
                                sharding-columns: gps_time,sn
                                algorithm-class-name:
                                shardingAlgorithmName: time-sn-sharding-altorithm
                        keyGenerateStrategy:
                            column: id
                            keyGeneratorName: compaction-data-id
                # 分片算法配置
                keyGenerators:
                    compaction-data-id:
                        type: 'INCREMENT'
                shardingAlgorithms:
                    time-sn-sharding-altorithm:
                        # 類型：自定義策略
                        type: CLASS_BASED
                        props:
                            # 分片策略
                            strategy: complex
                            # 分片算法類
                            algorithmClassName: com.joygis.sharding.algorithm.ComplexTimeAndSnShardingAlgorithm

代碼配置

a. 自定義數(shù)據(jù)源

說明：shardingSphereDataSource 為默認(rèn)數(shù)據(jù)源，如需修改配置信息，可重新定義重新注入即可

b. 使用動態(tài)數(shù)據(jù)源

說明：查詢接口中，直接標(biāo)記數(shù)據(jù)類型即可，如為mabatisplus 請使用@Ds注解

自定義主鍵策略

說明：shareding中用了大量的java spi 加載機(jī)制進(jìn)行代碼解耦，包括主鍵生成策略，spi機(jī)制此處不做介紹請自行百度，此處使用的為redis自增主鍵（查詢中例如id比較），保證id 全局唯一，type類型必須與yml文件中保持一致

單字段分表策略

說明：類型指定為Standard ，實(shí)現(xiàn)StandardShardingAlgorithm類即可，項(xiàng)目中因要求不同，此處代碼完成但為使用，需要實(shí)現(xiàn)兩個(gè)doshared方法，PreciseShardingValue 為精確匹配例如 in、= 等方式，RangeShardingValue為范圍匹配例如 between,< ,> 等

單字段分表策略

說明：如上述yml 所示配置，實(shí)現(xiàn)ComplexKeysShardingAlgorithm接口即可，僅一個(gè)接口ComplexKeysShardingValue 中存在兩個(gè)屬性，分別為范圍屬性及精確指定屬性

自動創(chuàng)建表

說明: 判斷表是否存在（例如本地緩存，提升速度），如果存在則不創(chuàng)建表，如果不存在，則直接創(chuàng)建表，創(chuàng)建完成后需要更新shareding 配置信息，詳細(xì)代碼請查看ShardingAlgorithmTool.tableNameCacheReloadAll();類

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Springboot使用sharedingjdbc實(shí)現(xiàn)分庫分表

目錄

一、簡介

二、使用注意事項(xiàng)