欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

ShardingSphere數(shù)據(jù)分片算法及測(cè)試實(shí)戰(zhàn)

 更新時(shí)間:2023年03月29日 10:50:43   作者:劉牌  
這篇文章主要為大家介紹了ShardingSphere數(shù)據(jù)分片算法及測(cè)試實(shí)戰(zhàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

前言

堅(jiān)持是一件比較難的事,堅(jiān)持并不是自欺欺人的一種自我麻痹和安慰,也不是做給被人的,我覺(jué)得,堅(jiān)持的本質(zhì)并沒(méi)有帶著過(guò)多的功利主義,如果滿(mǎn)是功利主義,那么這個(gè)堅(jiān)持并不會(huì)長(zhǎng)久,也不會(huì)有好的收獲,堅(jiān)持應(yīng)該帶著熱愛(ài),帶著思想,把它當(dāng)成習(xí)慣,但是并不是內(nèi)卷,而是一種發(fā)自?xún)?nèi)心的喜歡和平實(shí)!希望我們都有自己的堅(jiān)持,堅(jiān)持寫(xiě)一篇文章,堅(jiān)持愛(ài)一個(gè)人,堅(jiān)持讀一本書(shū),堅(jiān)持走向遠(yuǎn)方!

上一篇我們說(shuō)了ShardingSphere的讀寫(xiě)分離,使用讀寫(xiě)分離能夠減輕單庫(kù)的讀寫(xiě)操作,從而提升數(shù)據(jù)庫(kù)的吞吐量,但是當(dāng)數(shù)據(jù)庫(kù)中表的數(shù)據(jù)量到達(dá)一定數(shù)量時(shí),我們可能就會(huì)需要進(jìn)行分片了, 分片又分為垂直分片和水平分片,下面我們對(duì)二者進(jìn)行簡(jiǎn)單的分析。

垂直分片

我們的一個(gè)數(shù)據(jù)庫(kù)中通常是有很多數(shù)據(jù)表的,不過(guò)可能由于我們的分類(lèi)不到位,就會(huì)出現(xiàn)澇的澇死旱的旱死的局面,比如某些數(shù)據(jù)表的讀寫(xiě)操作十分頻繁,而我的這個(gè)庫(kù)中大量的集中了這種 讀寫(xiě)操作頻繁的表,那么整體的吞吐量就會(huì)降低,而某個(gè)庫(kù)中又集中了讀寫(xiě)不頻繁的表,吞吐量十分的高(但是好像沒(méi)什么卵用),所以我們應(yīng)該合理的分配,以保證整理的吞吐量達(dá)到最大值, 下圖將數(shù)據(jù)表各分到了一個(gè)數(shù)據(jù)庫(kù)中。

不過(guò)垂直分片不能從根本上解決讀寫(xiě)瓶頸,因?yàn)椴还苣阍僭趺捶?,所有的?shù)據(jù)始終都集中在一張表里面,就算數(shù)據(jù)庫(kù)的性能再好,也解決不了這個(gè)問(wèn)題。所以我們需要進(jìn)行 更加細(xì)粒度的劃分,下面我們來(lái)講解水平分片。

水平分片

水平分片又可以叫做橫向拆分,就是將一張大表拆分為若干張小表,比如我一張表中有1億條數(shù)據(jù),那么我拆分為10張表,每張表中存1000萬(wàn)條數(shù)據(jù),那么效率就會(huì)變高, 還有些數(shù)據(jù)需要進(jìn)行分類(lèi)和歸檔,那么我們也需要進(jìn)行分表,之前我們系統(tǒng)中一個(gè)表用來(lái)存儲(chǔ)文檔信息,有十多年因?yàn)閿?shù)據(jù)量十分龐大,在業(yè)務(wù)中需要對(duì)文檔進(jìn)行排序等操作,本來(lái)查詢(xún)就比較 耗時(shí)了,再加上需要進(jìn)行邏輯上的處理,所以就更加耗時(shí),于是就進(jìn)行了分表,將每一年的數(shù)據(jù)存進(jìn)一個(gè)表,這樣就提高了查詢(xún)效率,并且更加容易對(duì)數(shù)據(jù)進(jìn)行追蹤和管理,如下就是水平 分片的圖例。

ShardingSphere數(shù)據(jù)分片實(shí)戰(zhàn)

使用ShardingSphere數(shù)據(jù)分片,我們只需通過(guò)簡(jiǎn)單的配置就能實(shí)現(xiàn),ShardingSphere幫我們屏蔽了底層邏輯,我們也可通過(guò)ShardingSphere預(yù)留的 接口和SPI進(jìn)行擴(kuò)展我們的需求,比如可以實(shí)現(xiàn)我們自己的分片算法,主鍵生成策略等等。

下面演示將文檔按照年份進(jìn)行分表,將文檔數(shù)據(jù)分表至2013年至2022年來(lái)存,一般我們的配置文件都是配置在nacos上面,所以能夠靈活的進(jìn)行配置, 當(dāng)?shù)搅?023年,我們可以添加一個(gè)2023年的表,改下nacos的配置,當(dāng)然,一般會(huì)先預(yù)留出數(shù)據(jù)表,nacos上面也留出空間,我們的是預(yù)留到2032年, 留出了10年。

yml文件

我們重點(diǎn)關(guān)注下面的一些配置,actual-data-nodes代表進(jìn)行分片的表,使用表達(dá)式,document.document_$->{2013..2022}代表document數(shù)據(jù)庫(kù) 下面的document_前綴的表進(jìn)行分片,如document_2022,document_2021,{2013..2022}代表2013到2022這個(gè)區(qū)間,sharding-column是分片列, 是我們數(shù)據(jù)表中的某個(gè)字段,就是根據(jù)它來(lái)進(jìn)行分片,sharding-algorithms是分片算法,我們可以通過(guò)SPI來(lái)實(shí)現(xiàn)自己的分片算法,接口是StandardShardingAlgorithm, 如下我們使用的是INLINE基于行表達(dá)式的分片算法,algorithm-expression是分片表達(dá)式,ShardingSphere底層會(huì)進(jìn)行解析表達(dá)式,然后分片到對(duì)應(yīng)的數(shù)據(jù)表上面, 我們的表達(dá)式是document_$->{year},也就是根據(jù)年進(jìn)行分片,當(dāng)然,我們可以根據(jù)自己的需求去寫(xiě)表達(dá)式,比如根據(jù)主鍵取模進(jìn)行分片等,需要根據(jù)我們的實(shí)際場(chǎng)景去做, key-generate-strategy是主鍵生成策略,ShardingSphere支持自定義主鍵生成策略,我們只需要通過(guò)SPI就可以實(shí)現(xiàn),接口是KeyGenerateAlgorithm,已經(jīng) 實(shí)現(xiàn)了UUIDsnowflake雪花算法等主鍵生成策略。

spring:
  shardingsphere:
    mode:
      type: Standalone
      repository:
        type: File
      overwrite: true
    datasource:
      names: document
      document:
        jdbc-url: jdbc:mysql://localhost:3306/document?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        username: root
        password: qwer123@
    rules:
      sharding:
        tables:
          document:
            actual-data-nodes: document.document_$->{2013..2022}
            table-strategy:
              standard:
                sharding-column: year #分片列
                sharding-algorithm-name: document-inline # 分片算法名稱(chēng)
            key-generate-strategy:
              column: id # 主鍵列
              key-generator-name: timestamp #主鍵生成算法
        sharding-algorithms: #分片算法
          document-inline:
            type: INLINE
            props:
              algorithm-expression: document_$->{year}
        key-generators:
          timestamp:
            type: SNOWFLAKE

測(cè)試數(shù)據(jù)數(shù)據(jù)分片

虛幻插入十次,每次都插入2013年到2022年的數(shù)據(jù)。

void addDocSliceYear(){
    for (int i = 0; i < 10; i++) {
        for (int year = 2013; year <= 2022; year++) {
            Document document = new Document()
                .setDocumentName("document year【" + year + "】")
                .setDocumentDetail("year【" + year + "】")
                .setYear(year);
            documentService.save(document);
        }
    }
}

我們可以看出,數(shù)據(jù)分片成功,我們看一下分片的數(shù)據(jù)怎么查詢(xún)的(此處只是單表查詢(xún)),我們看一下ShardingSphere-SQL輸出的sql語(yǔ)句

SELECT  id,document_name,document_detail,year  FROM document_2013 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2014 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2015 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2016 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2017 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2018 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2019 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2020 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2021 
UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2022

從控制臺(tái)打印的SQL語(yǔ)句中看出,ShardingSphere分片查詢(xún)使用的是UNION ALL,UNION ALL實(shí)現(xiàn)把前后兩個(gè)SELECT集合的數(shù)據(jù)聯(lián)合起來(lái),組成一個(gè)結(jié)果集查詢(xún)輸出, 聯(lián)合查詢(xún)需要每個(gè)表中的的字段相同,字段類(lèi)型相同,數(shù)量相同,這也是分片的基本要求。

上面我們只演示了單表的數(shù)據(jù)分片查詢(xún),如果是多表查詢(xún),我們需要配置binding-tables綁定表,這樣能夠減少查詢(xún)的笛卡爾積,從而提升查詢(xún)效率,我們就不做 詳細(xì)的介紹,可去官網(wǎng)自己查看。

分片算法

ShardingSphere的分片算法有多種,我們也可以自己實(shí)現(xiàn)一套分片算法,通過(guò)SPI,分片算法的頂層接口是ShardingAlgorithm,目前實(shí)現(xiàn)了多種算法。

BoundaryBasedRangeShardingAlgorithm: 基于分片邊界的范圍分片算法

VolumeBasedRangeShardingAlgorithm: 基于分片容量的范圍分片算法

ComplexInlineShardingAlgorithm: 基于行表達(dá)式的復(fù)合分片算法

AutoIntervalShardingAlgorithm: 基于可變時(shí)間范圍的分片算法

ClassBasedShardingAlgorithm: 基于自定義類(lèi)的分片算法

HintInlineShardingAlgorithm: 基于行表達(dá)式的 Hint 分片算法

IntervalShardingAlgorithm: 基于固定時(shí)間范圍的分片算法

HashModShardingAlgorithm: 基于哈希取模的分片算法

InlineShardingAlgorithm: 基于行表達(dá)式的分片算法

ModShardingAlgorithm: 基于取模的分片算法

CosIdModShardingAlgorithm: 基于 CosId 的取模分片算法

CosIdIntervalShardingAlgorithm: 基于 CosId 的固定時(shí)間范圍的分片算法

CosIdSnowflakeIntervalShardingAlgorithm: 基于 CosId 的雪花ID固定時(shí)間范圍的分片算法

分布式主鍵生成算法

ShardingSphere也可以自定義實(shí)現(xiàn)主鍵生成策略,通過(guò)SPI,頂層接口為KeyGenerateAlgorithm,目前實(shí)現(xiàn)的算法有。

SnowflakeKeyGenerateAlgorithm 基于雪花算法的分布式主鍵生成算法

UUIDKeyGenerateAlgorithm: 基于 UUID 的分布式主鍵生成算法

CosIdKeyGenerateAlgorithm: 基于 CosId 的分布式主鍵生成算法

CosIdSnowflakeKeyGenerateAlgorithm: 基于 CosId 的雪花算法分布式主鍵生成算法

NanoIdKeyGenerateAlgorithm: 基于 NanoId 的分布式主鍵生成算法

總結(jié)

ShardingSphere能夠方便的實(shí)現(xiàn)數(shù)據(jù)分片,但是數(shù)據(jù)分片本身就是一件迫不得已的事情,它會(huì)是我們的業(yè)務(wù)變得更加的復(fù)雜,在設(shè)計(jì)的時(shí)候需要經(jīng)過(guò)嚴(yán)格的考量后再進(jìn)行數(shù)據(jù)分片,防止出現(xiàn)一些不必要的麻煩。

關(guān)于ShardingSphere的數(shù)據(jù)分片,我們就說(shuō)到這里,更多關(guān)于ShardingSphere數(shù)據(jù)分片的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • SpringBoot MongoDB詳細(xì)使用教程

    SpringBoot MongoDB詳細(xì)使用教程

    這篇文章主要介紹了SpringBoot整合Mongodb實(shí)現(xiàn)簡(jiǎn)單的增刪查改,MongoDB是一個(gè)以分布式數(shù)據(jù)庫(kù)為核心的數(shù)據(jù)庫(kù),因此高可用性、橫向擴(kuò)展和地理分布是內(nèi)置的,并且易于使用。況且,MongoDB是免費(fèi)的,開(kāi)源的,感興趣的朋友跟隨小編一起看看吧
    2022-10-10
  • 利用Hadoop實(shí)現(xiàn)求共同好友的示例詳解

    利用Hadoop實(shí)現(xiàn)求共同好友的示例詳解

    一想到要實(shí)現(xiàn)求共同好友的功能,很多人都會(huì)想到redis來(lái)實(shí)現(xiàn)。但是redis存儲(chǔ)和數(shù)據(jù)和計(jì)算時(shí)需要耗費(fèi)較多的內(nèi)存資源。所以文本將介紹另一種方法,即利用Hadoop中的MapReduce來(lái)實(shí)現(xiàn),感興趣的可以了解一下
    2022-01-01
  • 解決MyEclipse出現(xiàn)the user operation is waiting的問(wèn)題

    解決MyEclipse出現(xiàn)the user operation is waiting的問(wèn)題

    今天做項(xiàng)目的時(shí)候每次修改代碼保存后都會(huì)跳出一個(gè)框框,然后就有兩個(gè)進(jìn)度條,上面寫(xiě)the user operation is wating...小編去網(wǎng)上查了查解決了這個(gè)問(wèn)題,下面跟大家分享一下。
    2018-04-04
  • Java?新特性之Option示例詳解

    Java?新特性之Option示例詳解

    使用Optional開(kāi)發(fā)時(shí)要注意正確使用Optional的“姿勢(shì)”,特別注意不要使用3.2節(jié)提到的錯(cuò)誤示范,謹(jǐn)慎使用isPresent()和get()方法,盡量多使用map()、filter()、orElse()等方法來(lái)發(fā)揮Optional的作用,對(duì)Java??Option相關(guān)知識(shí)感興趣的朋友一起看看吧
    2024-02-02
  • 抽象類(lèi)使用Jackson序列化問(wèn)題

    抽象類(lèi)使用Jackson序列化問(wèn)題

    這篇文章主要介紹了抽象類(lèi)使用Jackson序列化問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-01-01
  • java實(shí)現(xiàn)單人版五子棋游戲

    java實(shí)現(xiàn)單人版五子棋游戲

    這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)五子棋小游戲的相關(guān)資料,十分簡(jiǎn)單實(shí)用,有不錯(cuò)的參考借鑒價(jià)值,推薦給大家,需要的朋友可以參考下
    2016-02-02
  • IntelliJ IDEA使用maven實(shí)現(xiàn)tomcat的熱部署

    IntelliJ IDEA使用maven實(shí)現(xiàn)tomcat的熱部署

    這篇文章主要介紹了IntelliJ IDEA使用maven實(shí)現(xiàn)tomcat的熱部署,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-07-07
  • 關(guān)于弗洛伊德算法求最短路徑詳解

    關(guān)于弗洛伊德算法求最短路徑詳解

    這篇文章主要介紹了關(guān)于弗洛伊德算法求最短路徑詳解,弗洛伊德算法VS迪杰斯特拉算法:迪杰斯特拉算法通過(guò)選定的被訪問(wèn)頂點(diǎn),求出從出發(fā)訪問(wèn)頂點(diǎn)到其他項(xiàng)點(diǎn)的最短路徑:弗洛伊德算法中每-個(gè)頂點(diǎn)都是出發(fā)訪問(wèn)點(diǎn),需要的朋友可以參考下
    2023-07-07
  • springboot項(xiàng)目中的bootstrap.yml配置不生效的原因及解決(沒(méi)有自動(dòng)提示)

    springboot項(xiàng)目中的bootstrap.yml配置不生效的原因及解決(沒(méi)有自動(dòng)提示)

    新創(chuàng)建一個(gè) springboot項(xiàng)目,添加了 bootstrap.yml 文件,發(fā)現(xiàn)文件并沒(méi)有如預(yù)期變成綠色葉子,編寫(xiě)的時(shí)候也沒(méi)有自動(dòng)提示,啟動(dòng)的時(shí)候,發(fā)現(xiàn)端口是8080,由此發(fā)現(xiàn)配置并沒(méi)有生效,所以本文給大家講解了springboot項(xiàng)目中的bootstrap.yml配置不生效的原因及解決
    2024-01-01
  • Java干貨知識(shí)深入理解內(nèi)部類(lèi)

    Java干貨知識(shí)深入理解內(nèi)部類(lèi)

    這篇文章主要介紹了Java干貨知識(shí)深入理解內(nèi)部類(lèi),定義在另一個(gè)類(lèi)或方法中的類(lèi)就叫做內(nèi)部類(lèi),需要的朋友可以參考下
    2019-06-06

最新評(píng)論