欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Sharding-Proxy基本功能用法介紹

 更新時間:2022年02月18日 09:49:15   作者:牛初九  
這篇文章介紹了Sharding-Proxy基本功能用法,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Sharding-Proxy是一個分布式數(shù)據(jù)庫中間件,定位為透明化的數(shù)據(jù)庫代理端。作為開發(fā)人員可以完全把它當(dāng)成數(shù)據(jù)庫,而它具體的分片規(guī)則在Sharding-Proxy中配置。它的整體架構(gòu)圖如下:

在架構(gòu)圖中,中間的藍(lán)色方塊就是我們的中間件Sharding-Proxy,下面連接的是數(shù)據(jù)庫,我們可以配置每一個數(shù)據(jù)庫的分片,還可以配置數(shù)據(jù)庫的讀寫分離,影子庫等等。上方則是我們的業(yè)務(wù)代碼,他們統(tǒng)一連接Sharding-Proxy,就像直接連接數(shù)據(jù)庫一樣,而具體的數(shù)據(jù)插入哪一個數(shù)據(jù)庫,則由Sharding-Proxy中的分片規(guī)則決定。再看看右側(cè),右側(cè)是一些數(shù)據(jù)庫的工具,比如:MySQL CLI,這是MySQL的命令行;Workbench是MySQL自己出的一個管理工具;還可以連接其他的工具,比如:Navicat,SQLYog等。最后再來看看左側(cè),是一個注冊中心,目前支持最好的是Zookeeper,在注冊中心中,我們可以統(tǒng)一配置分片規(guī)則,讀寫數(shù)據(jù)源等,而且是實(shí)時生效的,在管理多個Sharding-Proxy時,非常的方便。而官方也給我們提供了界面化的工具——ShardingSphere-UI,使用起來非常的方便。

Sharding-Proxy的安裝

我們可以在Sharding-Proxy官網(wǎng)上找的下載目錄,再找到Sharding-Proxy的下載鏈接,下載最新版本的二進(jìn)制包。然后把二進(jìn)制包(tar.gz)上傳到服務(wù)器的目錄中,這個目錄可以自定義,/opt或者/usr/local都可以,然后解壓,命令如下:

tar -zxvf apache-shardingsphere-4.1.1-sharding-proxy-bin.tar.gz

解壓后,進(jìn)入到sharding-proxy的conf目錄,這個目錄sharding-proxy的配置目錄,我們所有的數(shù)據(jù)源、分片規(guī)則、讀寫分離等都在此目錄下配置。

[root@centOS-1 conf]# ll
總用量 28
-rw-r--r--. 1 root root 3019 6月   4 15:24 config-encrypt.yaml
-rw-r--r--. 1 root root 3633 7月   7 13:51 config-master_slave.yaml
-rw-r--r--. 1 root root 2938 6月   4 15:24 config-shadow.yaml
-rw-r--r--. 1 root root 5463 7月   7 14:08 config-sharding.yaml
-rw-r--r--. 1 root root 1322 6月   4 15:24 logback.xml
-rw-r--r--. 1 root root 2171 7月   7 15:19 server.yaml
  • logback.xml是日志的配置。
  • server.yaml是Sharding-Proxy的一些基礎(chǔ)配置,比如:賬號、密碼、注冊中心等。
  • 剩下的所有以config開頭的yaml文件,都是一個邏輯數(shù)據(jù)源,我們可以看到最常見的兩個config-sharding.yaml(分片的配置),config-master_slave.yaml(讀寫分離的配置)。注意,如果我們要配置分片+讀寫分離,要不要在兩個配置文件中配置呢?不需要的,我們只需要在config-sharding.yaml中配置就可以了,如果要配置單獨(dú)的讀寫分離,則需要按照config-master_slave.yaml配置。單獨(dú)的讀寫分離和分片+讀寫分離在配置上,還是有一些區(qū)別的。

這些配置我們在后面會展開講。Sharding-Proxy默認(rèn)支持的數(shù)據(jù)庫是PostgreSQL,而我們大多數(shù)都是使用的MySQL,在這里我們的數(shù)據(jù)庫使用的是MySQL,我們要將mysql-connector-java.jar這個jar包放入lib目錄,這里推薦使用5.x版本的jar包,如果使用8.x可能會有一些位置的錯誤。

最后,我們執(zhí)行bin目錄下的start.sh就可以運(yùn)行了。

 ./bin/start.sh

Sharding-Proxy默認(rèn)的啟動端口是3307,我們在連接的時候要格外注意一下。

server.yaml配置

下面我們看看server.yaml文件中,都具體配置哪些內(nèi)容,我們用vim打開文件,

vim server.yaml

文件的內(nèi)容如下:

#########################################################################################
# 
# If you want to configure orchestration, authorization and proxy properties, please      refer to this file.
# 
#########################################################################################
#
#orchestration:
#  orchestration_ds:
#    orchestrationType: registry_center,config_center
#    instanceType: zookeeper
#    serverLists: 192.168.73.131:2181
#    namespace: sharding-proxy
#    props:
#      overwrite: false
#      retryIntervalMilliseconds: 500
#      timeToLiveSeconds: 60
#      maxRetries: 3
#      operationTimeoutMilliseconds: 500

authentication:
  users:
    root:
      password: root
    sharding:
      password: sharding
      authorizedSchemas: sharding_db
  • 其中,orchestration是連接zookeeper注冊中心,這里我們暫時用不到,將其注釋掉。
  • authentication中,配置的是用戶名和密碼,以及授權(quán)的數(shù)據(jù)庫,在這里,我們配置了兩個用戶,分別為:root/root和sharding/sharding,其中root默認(rèn)授權(quán)所有的數(shù)據(jù)庫,而sharding用戶則授權(quán)sharding_db數(shù)據(jù)庫。在這里的數(shù)據(jù)庫(schema)是邏輯數(shù)據(jù)庫,在config-*.yaml中配置的。

config-sharding.yaml的配置

這個文件是Sharding-Proxy的核心的配置,所有的分片規(guī)則都在這個文件中配置,讓我們一起來看看吧,

schemaName: sharding_db

dataSources:
  ds_1:
    url: jdbc:mysql://192.168.73.132:3306/shard_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  master_ds:
    url: jdbc:mysql://192.168.73.131:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_0:
    url: jdbc:mysql://192.168.73.130:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  • 在這個配置文件中,總共分為3個部分,我們先看看前面2個部分。
  • schemaName:是邏輯數(shù)據(jù)庫的名稱,這里我們叫做sharding_db。在server.yaml文件中,授權(quán)的schema就是這里的schemaName。
  • 第二部分是數(shù)據(jù)源,在dataSources里邊,我們配置了3個數(shù)據(jù)源。分別是ds_1、master_ds和slave_ds_0。我們先來說一下數(shù)據(jù)庫的規(guī)劃吧,我們的數(shù)據(jù)將通過user_id進(jìn)行數(shù)據(jù)庫的分片,總共有2個分片,user_id尾數(shù)為奇數(shù)的將分配到ds_1的數(shù)據(jù)庫中,user_id尾數(shù)為偶數(shù)的,將分配到ds_0中,但是我們的數(shù)據(jù)源中沒有ds_0呀,ds_0將由master_ds和slave_ds_0組成一個讀寫分離數(shù)據(jù)源。

接下來再看看具體分片的配置,

shardingRule:
  masterSlaveRules:
    ds_0:
      masterDataSourceName: master_ds
      slaveDataSourceNames:
        - slave_ds_0
  tables:
    t_order:
      actualDataNodes: ds_${0..1}.t_order_${1..2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_${order_id % 2 + 1}
      keyGenerator:
        type: SNOWFLAKE
        column: order_id
    t_order_item:
      actualDataNodes: ds_${0..1}.t_order_item_${1..2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_item_${order_id % 2 + 1}
      keyGenerator:
        type: SNOWFLAKE
        column: id
  defaultDatabaseStrategy:
    inline:
      shardingColumn: user_id
      algorithmExpression: ds_${user_id % 2}
  defaultTableStrategy:
    none:
  defaultDataSourceName: ds_0
  • 分片的配置都在shardingRule下。
  • 在這里我們要配置讀寫分離主從數(shù)據(jù)源,在這里我們配置的是分片+讀寫分離,和單純的讀寫分離配置是不一樣的。讀寫分離的配置在masterSlaveRules下,我們配置讀寫分離數(shù)據(jù)源ds_0,指定主庫的數(shù)據(jù)源masterDataSourceName為master_ds,master_ds在上面的數(shù)據(jù)源中已經(jīng)配置,而從數(shù)據(jù)源slaveDataSourceNames可以配置多個,也就是一主多從的配置,我們用數(shù)組的方式進(jìn)行配置,- slave_ds_0指定從數(shù)據(jù)源為slave_ds_0,如果有多個從數(shù)據(jù)源,可以配置多個。
  • 我們先跳過tables的配置,往下看,defaultDataSourceName,默認(rèn)數(shù)據(jù)源,我們指定ds_0。這個配置非常有用,在我們的項目中,并不是所有的表都要進(jìn)行水平切分,只有數(shù)據(jù)量比較大的表才會用到水平切分,比如:訂單表(t_order)和訂單明細(xì)表(t_order_item)。而其他的表數(shù)據(jù)量沒有那么大,單庫單表就可以完全支撐,這些表沒有分片規(guī)則,而我們指定了默認(rèn)的數(shù)據(jù)源,當(dāng)我們操作這些沒有分片規(guī)則的表時,都統(tǒng)一使用默認(rèn)的數(shù)據(jù)源。
  • defaultTableStrategy,默認(rèn)表的分片規(guī)則,這里我們配置的是none,沒有。也就是說所有的分片表都要配置表的分片規(guī)則。
  • defaultDatabaseStrategy,默認(rèn)數(shù)據(jù)庫的分片規(guī)則,這里我們配置它的規(guī)則為行內(nèi)表達(dá)式,分片字段為user_id,規(guī)則為ds_${user_id % 2},當(dāng)user_id為偶數(shù)時,數(shù)據(jù)源為ds_0,也就是前面配置的讀寫分離數(shù)據(jù)源;而當(dāng)user_id為奇數(shù)時,數(shù)據(jù)源為ds_1。如果我們的表的分片規(guī)則中,沒有配置數(shù)據(jù)源的分片規(guī)則,將使用這個默認(rèn)數(shù)據(jù)源的分片策略。
  • 最后再來看看tables的配置,這里配置的是分片表的規(guī)則,我們配置兩個表,t_order和t_order_item。每個分片表都由3部分組成。首先,actualDataNodes,實(shí)際的數(shù)據(jù)節(jié)點(diǎn),這個節(jié)點(diǎn)是在MySQL中真實(shí)存在的,以t_order的配置為例,ds_${0..1}.t_order_${1..2},說明t_order的數(shù)據(jù)節(jié)點(diǎn)有4個,分表為ds_0.t_order_1、ds_0.t_order_2、ds_1.t_order_1和ds_1.t_order_2。再來看表的分片規(guī)則,tableStrategy,它的規(guī)則也是用行內(nèi)表達(dá)式配置的,分片字段為order_id,規(guī)則為t_order_${order_id % 2 + 1},當(dāng)order_id為奇數(shù)時,數(shù)據(jù)會分配到表t_order_1中;當(dāng)order_id為偶數(shù)時,會分配到表t_order_2中。

整個的分片策略就配置完了,決定每條數(shù)據(jù)的具體分片由兩個字段決定,user_id決定數(shù)據(jù)分配到哪一個數(shù)據(jù)源中,order_id決定數(shù)據(jù)分配到哪一個表中。這就是分片+讀寫分離的配置,如果要進(jìn)行更詳細(xì)的配置,可以參考官方文檔,這里不贅述了。

config-master_slave.yaml的配置

如果我們只配置數(shù)據(jù)源的讀寫分離,而不進(jìn)行分片配置,就需要參照這個配置文件進(jìn)行配置了,雖然分片+讀寫分離的配置已經(jīng)有了讀寫分離的配置,但是他倆之間還是有一些細(xì)微的區(qū)別的,我們來看看這個文件中的內(nèi)容吧,

schemaName: master_slave_db

dataSources:
  master_ds:
    url: jdbc:mysql://192.168.73.131:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds:
    url: jdbc:mysql://192.168.73.130:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_1:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

masterSlaveRule:
  name: ds_0
  masterDataSourceName: master_ds
  slaveDataSourceNames:
    - slave_ds
    - slave_ds_1
  • 首先,我們還是定義邏輯數(shù)據(jù)庫的名稱,schemaName: master_slave_db,叫做master_slave_db。
  • 然后在dataSources中定義數(shù)據(jù)源,這些配置的結(jié)構(gòu)是通用,和前面沒有區(qū)別,我們配置了3個數(shù)據(jù)源,一主兩從,master_ds(主)、slave_ds(從)和slave_ds_1(從)。
  • 最后就是主從的規(guī)則masterSlaveRule,在前面分片+讀寫分離的配置中,叫做masterSlaveRules,復(fù)數(shù)形式。說明在單獨(dú)的讀寫分離配置中,只能配置一個主從數(shù)據(jù)源。主從數(shù)據(jù)源的名字叫做ds_0,主數(shù)據(jù)源masterDataSourceName是master_ds,從數(shù)據(jù)源slaveDataSourceNames配置了兩個,slave_ds和slave_ds_1。

這里只是單純的配置主從讀寫分離數(shù)據(jù)源,如果要配置分片+讀寫分離,請參照前面的配置。

config-shadow.yaml影子庫配置

在現(xiàn)在微服務(wù)盛行的情況下,系統(tǒng)被切分的很細(xì),這對于測試,尤其是壓測是非常難的,如果在測試環(huán)境部署一套和生產(chǎn)一模一樣的環(huán)境,是非常浪費(fèi)資源的。而如果只部署一兩個服務(wù),又不能進(jìn)行全鏈路的整體壓測。而我們的解決方案是在生產(chǎn)環(huán)境直接進(jìn)行壓測,得出的結(jié)果也是真實(shí)有效的。那么這些壓測的數(shù)據(jù)怎么辦,如果不做特殊的處理,就和生產(chǎn)的真實(shí)數(shù)據(jù)混在一起了。

這里我們就需要配置影子數(shù)據(jù)庫了,所有壓測數(shù)據(jù)都會有一個特殊的標(biāo)識,sharding-proxy根據(jù)這個特殊的標(biāo)識,將壓測的數(shù)據(jù)分配到影子庫中,和生產(chǎn)的真實(shí)數(shù)據(jù)隔離開,我們看看具體怎么配置

schemaName: sharding_db

dataSources:
  ds:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  shadow_ds:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

shadowRule:
  column: shadow
  shadowMappings:
    ds: shadow_ds
  • 前面還是邏輯數(shù)據(jù)庫的名稱和數(shù)據(jù)源的配置。在數(shù)據(jù)源我們配置了兩個,一個是真實(shí)的數(shù)據(jù)庫ds,另一個是影子庫shadow_ds,所有壓測的數(shù)據(jù)都會分配的影子庫中。
  • shadowRule中配置影子庫的規(guī)則,column,影子庫字段標(biāo)識,所有壓測數(shù)據(jù),在程序中,將此字段設(shè)置為true。shadowMappings是主庫和影子庫的映射關(guān)系,ds數(shù)據(jù)庫的影子庫是shadow_ds。

影子庫的配置在我們壓測中還是十分有用的,將測試數(shù)據(jù)和生產(chǎn)數(shù)據(jù)隔離開,不會影響到生產(chǎn)數(shù)據(jù)。

config-encrypt.yaml數(shù)據(jù)加密配置

最后我們再看看數(shù)據(jù)加密的配置,一些用戶的信息是不希望在數(shù)據(jù)庫中以明文存在的,比如:用戶的身份證號、銀行卡號。但是,在使用的時候,我們還要把它解密回來。當(dāng)然,我們可以在程序中,針對這些字段進(jìn)行加解密,這里呢,我們看看Sharding-Proxy為我們提供的數(shù)據(jù)加密配置。我們看一下配置文件,

schemaName: encrypt_db

dataSource:
  url: jdbc:mysql://127.0.0.1:3306/demo_ds?serverTimezone=UTC&useSSL=false
  username: root
  password:
  connectionTimeoutMilliseconds: 30000
  idleTimeoutMilliseconds: 60000
  maxLifetimeMilliseconds: 1800000
  maxPoolSize: 50

encryptRule:
  encryptors:
    encryptor_aes: 
      type: aes
      props: 
        aes.key.value: 123456abc
  tables:
    t_card_no:
      columns:
        card_no:
          cipherColumn: card_no_cipher
          encryptor: encryptor_aes
  • 邏輯庫與數(shù)據(jù)源的配置略過。
  • 在加密規(guī)則encryptRule中,我們先定義加密算法,encryptor_aes,它的類型是aes,key是123456abc,這個key我們可以修改,但是一旦用這個key產(chǎn)生數(shù)據(jù),就不要再改了,如果改了,舊數(shù)據(jù)就不能正確的解密了。
  • 然后在tables中定義加密數(shù)據(jù)的表t_card_no,加密的列為card_no,這個列是邏輯列,在表中不是真實(shí)存在的,當(dāng)你的sql中無論查詢、插入,出現(xiàn)這個字段,都會進(jìn)行加密處理。而cipherColumn是加密后存儲數(shù)據(jù)的列,encryptor則是加密的規(guī)則。例如,我們執(zhí)行insert into t_card_no (card_no) values ('123456'),card_no列在表t_card_no中并不存在,t_card_no中存在的是card_no_cipher列,我們執(zhí)行成功后,card_no_cipher列存的是密文數(shù)據(jù);當(dāng)我們執(zhí)行select card_no from t_card_no 時,雖然表t_card_no沒有card_no 列,但是可以將card_no_cipher列解密,card_no 顯示解密后的值。

數(shù)據(jù)加密在實(shí)際的應(yīng)用中還是比較多的。

總結(jié)

到此這篇關(guān)于Sharding-Proxy基本功能用法的文章就介紹到這了。希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

最新評論