快捷導(dǎo)航

ShardingSphere jdbc實現(xiàn)分庫分表核心概念詳解

更新時間：2022年12月11日 17:17:39 作者：刨紅薯的小羊竿爾

這篇文章主要為大家介紹了ShardingSphere jdbc實現(xiàn)分庫分表核心概念詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

ShardingSphere

ShardingSphere是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（計劃中）這3款相互獨立的產(chǎn)品組成。他們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)分片、分布式事務(wù)和數(shù)據(jù)庫治理功能。

Sharding-JDBC

定位為輕量級Java框架，在Java的JDBC層提供的額外服務(wù)。它使用客戶端直連數(shù)據(jù)庫，以jar包形式提供服務(wù)，無需額外部署和依賴，可理解為增強(qiáng)版的JDBC驅(qū)動，完全兼容JDBC和各種ORM框架。

1）適用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

2）基于任何第三方的數(shù)據(jù)庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

3）支持任意實現(xiàn)JDBC規(guī)范的數(shù)據(jù)庫。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

Sharding-JDBC包含的一些核心概念

1）邏輯表-LogicTable

數(shù)據(jù)分片的邏輯表，對于水平拆分的數(shù)據(jù)庫(表)，同一類表的總稱。例：訂單數(shù)據(jù)根據(jù)主鍵尾數(shù)拆分為10張表,分別是t_order_0到t_order_9，他們的邏輯表名為t_order。

2）實際表-ActualTable

在分片的數(shù)據(jù)庫中真實存在的物理表。即上個示例中的t_order_0到t_order_9。

3）數(shù)據(jù)節(jié)點-DataNode

數(shù)據(jù)分片的最小單元。由數(shù)據(jù)源名稱和數(shù)據(jù)表組成，例：ds_1.t_order_0。配置時默認(rèn)各個分片數(shù)據(jù)庫的表結(jié)構(gòu)均相同，直接配置邏輯表和真實表對應(yīng)關(guān)系即可。如果各數(shù)據(jù)庫的表結(jié)果不同，可使用ds.actual_table配置。

4）動態(tài)表-DynamicTable

邏輯表和真實表不一定需要在配置規(guī)則中靜態(tài)配置。比如按照日期分片的場景，真實表的名稱隨著時間的推移會產(chǎn)生變化。此類需求Sharding-JDBC是支持的，不過目前配置并不友好，會在新版本中提升。

5）綁定表-BindingTable

指在任何場景下分片規(guī)則均一致的主表和子表。例：訂單表和訂單項表，均按照訂單ID分片，則此兩張表互為BindingTable關(guān)系。BindingTable關(guān)系的多表關(guān)聯(lián)查詢不會出現(xiàn)笛卡爾積關(guān)聯(lián)，關(guān)聯(lián)查詢效率將大大提升。

6）分片鍵-ShardingColumn

分片字段。用于將數(shù)據(jù)庫(表)水平拆分的關(guān)鍵字段。例：訂單表訂單ID分片尾數(shù)取模分片，則訂單ID為分片字段。SQL中如果無分片字段，將執(zhí)行全路由，性能較差。Sharding-JDBC支持多分片字段。

7）分片算法-ShardingAlgorithm

分片算法。Sharding-JDBC通過分片算法將數(shù)據(jù)分片，支持通過等號、BETWEEN和IN分片。分片算法目前需要業(yè)務(wù)方開發(fā)者自行實現(xiàn)，可實現(xiàn)的靈活度非常高。未來Sharding-JDBC也將會實現(xiàn)常用分片算法，如range，hash和tag等。

8）SQL Hint

對于分片字段非SQL決定，而由其他外置條件決定的場景，可使用SQL Hint靈活的注入分片字段。例：內(nèi)部系統(tǒng)，按照員工登錄ID分庫，而數(shù)據(jù)庫中并無此字段。SQL Hint支持通過ThreadLocal和SQL注釋(待實現(xiàn))兩種方式使用。

9）廣播表broadcastTable

所有的分?數(shù)據(jù)源中都存在的表，表結(jié)構(gòu)和表中的數(shù)據(jù)在每個數(shù)據(jù)庫中均完全?致，例如：數(shù)據(jù)字典表，公共配置表。

10）分布式主鍵生成策略

Sharding-JDBC 內(nèi)部支持UUID和Snowflake生成分布式主鍵。

分片策略算法

ShardingSphere-JDBC在分片策略上分別引入了分片算法、分片策略兩個概念，當(dāng)然在分片的過程中分片鍵也是一個核心的概念；在此可以簡單的理解分片策略 = 分片算法 + 分片鍵

分片算法

提供了抽象分片算法類：ShardingAlgorithm，根據(jù)類型又分為：精確分片算法、區(qū)間分片算法、復(fù)合分片算法以及Hint分片算法；

精確分片算法：對應(yīng)PreciseShardingAlgorithm類，主要用于處理 = 和 IN的分片；

public class PreciseDBShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

區(qū)間分片算法：對應(yīng)RangeShardingAlgorithm類，主要用于處理 BETWEEN AND, >, <, >=, <= 分片；

public class RangeShardingDBAlgorithm implements RangeShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

復(fù)合分片算法：對應(yīng)ComplexKeysShardingAlgorithm類，用于處理使用多鍵作為分片鍵進(jìn)行分片的場景；

public class ComplexKeysShardingDBAlgorithm implements ComplexKeysShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

Hint分片算法：對應(yīng)HintShardingAlgorithm類，用于處理使用 Hint 行分片的場景；

public class HintShardingDBAlgorithm implements HintShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

以上所有的算法類都是接口類，具體實現(xiàn)交給開發(fā)者自己。

分片策略

分片策略基本和上面的分片算法對應(yīng)，包括：標(biāo)準(zhǔn)分片策略、復(fù)合分片策略、Hint分片策略、內(nèi)聯(lián)分片策略、不分片策略；

標(biāo)準(zhǔn)分片策略：對應(yīng)StandardShardingStrategy類，提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片算法，PreciseShardingAlgorithm是必須的，RangeShardingAlgorithm可選的；

public final class StandardShardingStrategy implements ShardingStrategy {
    private final String shardingColumn;
    private final PreciseShardingAlgorithm preciseShardingAlgorithm;
    private final RangeShardingAlgorithm rangeShardingAlgorithm;
}

復(fù)合分片策略：對應(yīng)ComplexShardingStrategy類，提供ComplexKeysShardingAlgorithm分片算法；可以發(fā)現(xiàn)支持多個分片鍵；

public final class ComplexShardingStrategy implements ShardingStrategy {
    @Getter
    private final Collection<String> shardingColumns;
    private final ComplexKeysShardingAlgorithm shardingAlgorithm;
}

Hint分片策略：對應(yīng)HintShardingStrategy類，通過 Hint 指定分片值而非從 SQL 中提取分片值的方式進(jìn)行分片的策略；提供HintShardingAlgorithm分片算法；

public final class HintShardingStrategy implements ShardingStrategy {
    @Getter
    private final Collection<String> shardingColumns;
    private final HintShardingAlgorithm shardingAlgorithm;
}