欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

ShardingProxy讀寫分離之原理、配置與實踐過程

 更新時間:2025年08月25日 09:36:40   作者:沒事學AI  
ShardingProxy是Apache?ShardingSphere的數(shù)據(jù)庫中間件,通過三層架構(gòu)實現(xiàn)讀寫分離,解決高并發(fā)場景下數(shù)據(jù)庫性能瓶頸,其核心功能包括SQL路由、負載均衡、數(shù)據(jù)一致性保障和故障轉(zhuǎn)移,支持主從架構(gòu)下的透明分庫分表及讀寫分流,廣泛應用于微服務和高流量業(yè)務系統(tǒng)

一、ShardingProxy技術定位與讀寫分離核心價值

1.1 技術定位

ShardingProxy是Apache ShardingSphere生態(tài)中的數(shù)據(jù)庫中間件,采用客戶端-代理-數(shù)據(jù)庫的三層架構(gòu)模式,對應用程序透明(無需修改應用代碼),負責接收應用的SQL請求并進行路由轉(zhuǎn)發(fā)。其核心定位是:作為分布式數(shù)據(jù)庫的“流量入口”,解決單機數(shù)據(jù)庫在高并發(fā)場景下的性能瓶頸,支持讀寫分離、分庫分表、數(shù)據(jù)脫敏等核心能力,在微服務架構(gòu)、高流量業(yè)務系統(tǒng)(如電商訂單、用戶中心)中廣泛應用。

在整個技術體系中,ShardingProxy處于“應用層與數(shù)據(jù)庫層之間的中間件層”,上接應用服務的SQL請求,下連主從架構(gòu)的數(shù)據(jù)庫集群,承擔SQL解析、路由決策、結(jié)果合并等關鍵職責,是實現(xiàn)數(shù)據(jù)庫水平擴展的核心組件之一。

1.2 讀寫分離核心價值

在傳統(tǒng)單機數(shù)據(jù)庫架構(gòu)中,“讀”和“寫”操作均依賴同一臺數(shù)據(jù)庫,當業(yè)務流量增長(如秒殺活動、高頻查詢場景)時,讀請求會大量占用數(shù)據(jù)庫資源,導致寫操作響應延遲,甚至引發(fā)數(shù)據(jù)庫性能雪崩。

ShardingProxy讀寫分離的核心價值在于拆分讀寫流量

  • 將“寫操作”(INSERT/UPDATE/DELETE)路由至主庫,保證數(shù)據(jù)一致性;
  • 將“讀操作”(SELECT)路由至從庫,利用從庫集群分擔讀壓力;
  • 支持從庫負載均衡,避免單從庫成為新瓶頸;
  • 提供故障轉(zhuǎn)移能力,當某臺從庫下線時,自動將讀流量切換至其他可用從庫。

二、ShardingProxy讀寫分離核心原理

2.1 整體工作流程

ShardingProxy實現(xiàn)讀寫分離的核心流程分為5個步驟,具體如下:

步驟核心操作說明
1SQL接收應用通過JDBC/ODBC協(xié)議連接ShardingProxy(代理地址與端口),發(fā)送SQL請求
2SQL解析ShardingProxy對SQL進行語法解析、語義分析,判斷SQL類型(讀/寫)
3路由決策根據(jù)預設的讀寫分離規(guī)則,決定將請求路由至主庫(寫操作)或從庫(讀操作);若為讀操作,還需通過負載均衡算法選擇具體從庫
4請求轉(zhuǎn)發(fā)將解析后的SQL轉(zhuǎn)發(fā)至目標數(shù)據(jù)庫(主庫/從庫)
5結(jié)果返回接收目標數(shù)據(jù)庫的執(zhí)行結(jié)果,若涉及多從庫(如分頁查詢合并)則進行結(jié)果處理,最終返回給應用

2.2 關鍵技術點

2.2.1 SQL類型判斷

ShardingProxy通過SQL語法樹解析區(qū)分讀寫操作:

  • 寫操作判定:包含INSERT、UPDATE、DELETE、CREATE、ALTER等會修改數(shù)據(jù)或表結(jié)構(gòu)的SQL;
  • 讀操作判定:僅包含SELECT的SQL(特殊場景如SELECT … FOR UPDATE會被判定為寫操作,需單獨配置)。

2.2.2 從庫負載均衡算法

ShardingProxy支持3種常用負載均衡算法,滿足不同業(yè)務場景需求:

  • 輪詢算法(ROUND_ROBIN):按從庫順序依次分配讀請求,適用于各從庫配置一致的場景;
  • 隨機算法(RANDOM):隨機選擇從庫分配請求,適用于從庫性能存在輕微差異的場景;
  • 權重算法(WEIGHT):根據(jù)從庫權重分配請求(權重越高,接收請求越多),適用于從庫配置差異較大的場景(如高性能從庫權重設為10,普通從庫設為5)。

2.2.3 主從數(shù)據(jù)一致性保障

由于主從復制存在延遲(MySQL默認異步復制),可能導致“寫主庫后立即讀從庫”出現(xiàn)數(shù)據(jù)不一致問題。ShardingProxy提供2種解決方案:

  1. 強制路由主庫:對核心業(yè)務讀請求(如用戶下單后查詢訂單狀態(tài)),通過Hint語法強制路由至主庫;
  2. 主從延遲控制:配置從庫延遲閾值(如500ms),當從庫延遲超過閾值時,自動將讀請求路由至主庫,避免臟讀。

三、ShardingProxy讀寫分離環(huán)境搭建與配置

3.1 前置環(huán)境準備

搭建ShardingProxy讀寫分離需滿足以下環(huán)境依賴,以MySQL主從架構(gòu)為例:

組件版本要求說明
JDK1.8及以上ShardingProxy基于Java開發(fā),需配置JAVA_HOME
MySQL5.7/8.0需提前搭建MySQL主從復制(異步/半同步均可)
ShardingProxy4.1.1(穩(wěn)定版)從Apache官網(wǎng)下載

MySQL主從復制驗證

確保主從復制正常運行,在主庫執(zhí)行以下SQL創(chuàng)建測試表并插入數(shù)據(jù),從庫需能同步數(shù)據(jù):

-- 主庫創(chuàng)建測試庫
CREATE DATABASE IF NOT EXISTS sharding_db;
USE sharding_db;

-- 創(chuàng)建用戶表
CREATE TABLE `t_user` (
  `id` BIGINT NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(50) NOT NULL,
  `age` INT NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- 插入測試數(shù)據(jù)(從庫需同步該數(shù)據(jù))
INSERT INTO t_user (username, age) VALUES ('zhangsan', 25), ('lisi', 30);

3.2 ShardingProxy核心配置

ShardingProxy的配置文件位于conf目錄下,核心配置文件為server.yaml(全局配置)和config-sharding.yaml(讀寫分離+分庫分表配置)。

3.2.1 server.yaml配置(全局基礎配置)

# 服務端口(應用連接ShardingProxy的端口)
serverPort: 3307
# 管理端口(用于監(jiān)控和運維)
adminPort: 8088
# 數(shù)據(jù)庫驅(qū)動類名
driverClassName: com.mysql.cj.jdbc.Driver
# 認證配置(應用連接ShardingProxy的賬號密碼)
authentication:
  users:
    root:
      password: 123456  # 應用連接密碼
    sharding:
      password: sharding 
      authorizedSchemas: sharding_db  # 授權訪問的數(shù)據(jù)庫

# 日志配置(輸出SQL路由日志,便于調(diào)試)
props:
  max.connections.size.per.query: 1
  acceptor.size: 16  # 用于接收連接的線程數(shù)
  executor.size: 16  # 用于處理SQL的線程數(shù)
  proxy.frontend.flush.threshold: 128  # 前端刷盤閾值
  proxy.transaction.type: LOCAL
  proxy.opentracing.enabled: false
  query.with.cipher.column: true
  sql.show: true  # 開啟SQL顯示(打印路由后的SQL,調(diào)試必備)

3.2.2 config-sharding.yaml配置(讀寫分離核心配置)

# 數(shù)據(jù)源配置(主庫+從庫)
dataSources:
  # 主庫數(shù)據(jù)源
  master_ds:
    type: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://192.168.1.100:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
    username: root
    password: root123
    connectionTimeout: 30000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50
  
  # 從庫1數(shù)據(jù)源
  slave_ds_0:
    type: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://192.168.1.101:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
    username: root
    password: root123
    connectionTimeout: 30000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50
  
  # 從庫2數(shù)據(jù)源(可擴展多個從庫)
  slave_ds_1:
    type: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://192.168.1.102:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
    username: root
    password: root123
    connectionTimeout: 30000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50

# 讀寫分離規(guī)則配置
rules:
- !READWRITE_SPLITTING
  dataSources:
    # 讀寫分離數(shù)據(jù)源名稱(應用實際訪問的數(shù)據(jù)源名)
    sharding_rw_ds:
      type: Static
      props:
        write-data-source-name: master_ds  # 寫操作路由至主庫
        read-data-source-names: slave_ds_0,slave_ds_1  # 讀操作路由至兩個從庫
        load-balance-algorithm-type: ROUND_ROBIN  # 從庫負載均衡算法(輪詢)
        # 可選:主從延遲控制(超過500ms則讀主庫)
        # read-write-splitting-delay-threshold: 500

# 綁定表規(guī)則(無分表時可省略,此處僅作示例)
bindingTables:
- t_user

# 默認數(shù)據(jù)源(當SQL未匹配任何規(guī)則時,路由至該數(shù)據(jù)源)
defaultDataSourceName: sharding_rw_ds

3.3 ShardingProxy啟動與驗證

3.3.1 啟動ShardingProxy

進入ShardingProxy的bin目錄;

執(zhí)行啟動腳本(Windows用start.bat,Linux用start.sh):

# Linux啟動命令(指定配置文件目錄)
./start.sh ../conf

驗證啟動狀態(tài):查看logs/stdout.log日志,若出現(xiàn)以下內(nèi)容則啟動成功:

[INFO ] 2024-05-20 10:00:00.000 [main] o.a.s.p.frontend.ShardingSphereProxy - ShardingSphere-Proxy start success.

3.3.2 連接驗證(使用Navicat/MySQL客戶端)

連接參數(shù):

  • 主機:ShardingProxy所在服務器IP(如192.168.1.103);
  • 端口:3307(對應server.yaml中的serverPort);
  • 賬號:root(對應server.yaml中的認證用戶);
  • 密碼:123456(對應server.yaml中的認證密碼);
  • 數(shù)據(jù)庫:sharding_db(授權數(shù)據(jù)庫)。

執(zhí)行讀寫操作驗證:

-- 1. 寫操作(INSERT):查看ShardingProxy日志,確認路由至master_ds
INSERT INTO t_user (username, age) VALUES ('wangwu', 35);

-- 2. 讀操作(SELECT):查看日志,確認輪詢路由至slave_ds_0、slave_ds_1
SELECT * FROM t_user;

-- 3. 強制讀主庫(Hint語法):核心業(yè)務讀請求用此方式保障一致性
/*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */ 
SELECT * FROM t_user WHERE id = 3;

四、工程實踐:SpringBoot整合ShardingProxy讀寫分離

4.1 項目依賴配置(pom.xml)

在SpringBoot項目中添加MySQL驅(qū)動和JDBC依賴(無需添加ShardingSphere客戶端依賴,因應用僅需連接ShardingProxy,無需感知中間件細節(jié)):

<dependencies>
    <!-- SpringBoot JDBC Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>
    
    <!-- MySQL驅(qū)動 -->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.32</version>
        <scope>runtime</scope>
    </dependency>
    
    <!-- 數(shù)據(jù)庫連接池(HikariCP) -->
    <dependency>
        <groupId>com.zaxxer</groupId>
        <artifactId>HikariCP</artifactId>
    </dependency>
    
    <!-- SpringBoot Test(用于測試) -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

4.2 數(shù)據(jù)庫配置(application.yml)

應用連接ShardingProxy的配置,與連接普通MySQL數(shù)據(jù)庫一致(無需修改代碼,完全透明):

spring:
  datasource:
    type: com.zaxxer.hikari.HikariDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.1.103:3307/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
    username: root
    password: 123456
    hikari:
      maximum-pool-size: 20
      minimum-idle: 5
      connection-timeout: 30000
      idle-timeout: 600000

4.3 業(yè)務代碼實現(xiàn)(用戶模塊示例)

4.3.1 實體類(User.java)

public class User {
    private Long id;
    private String username;
    private Integer age;

    // 無參構(gòu)造、有參構(gòu)造、getter、setter
    public User() {}
    public User(String username, Integer age) {
        this.username = username;
        this.age = age;
    }

    // getter和setter
    public Long getId() { return id; }
    public void setId(Long id) { this.id = id; }
    public String getUsername() { return username; }
    public void setUsername(String username) { this.username = username; }
    public Integer getAge() { return age; }
    public void setAge(Integer age) { this.age = age; }
}

4.3.2 DAO層(UserDao.java)

使用JdbcTemplate實現(xiàn)數(shù)據(jù)訪問(MyBatis/MyBatis-Plus用法一致,僅需配置數(shù)據(jù)源):

import org.springframework.jdbc.core.BeanPropertyRowMapper;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Repository;
import javax.annotation.Resource;
import java.util.List;

@Repository
public class UserDao {
    @Resource
    private JdbcTemplate jdbcTemplate;

    // 寫操作:新增用戶(路由至主庫)
    public int addUser(User user) {
        String sql = "INSERT INTO t_user (username, age) VALUES (?, ?)";
        return jdbcTemplate.update(sql, user.getUsername(), user.getAge());
    }

    // 讀操作:查詢所有用戶(路由至從庫,輪詢)
    public List<User> listAllUsers() {
        String sql = "SELECT id, username, age FROM t_user";
        return jdbcTemplate.query(sql, new BeanPropertyRowMapper<>(User.class));
    }

    // 讀操作:強制讀主庫(核心業(yè)務,保障數(shù)據(jù)一致性)
    public User getUserById(Long id) {
        // Hint語法:強制路由至主庫
        String sql = "/*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */ " +
                     "SELECT id, username, age FROM t_user WHERE id = ?";
        return jdbcTemplate.queryForObject(sql, new BeanPropertyRowMapper<>(User.class), id);
    }
}

4.4 測試代碼(UserDaoTest.java)

通過單元測試驗證讀寫分離效果:

import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
import javax.annotation.Resource;
import java.util.List;
import static org.junit.jupiter.api.Assertions.*;

@SpringBootTest
public class UserDaoTest {
    @Resource
    private UserDao userDao;

    // 測試寫操作(路由至主庫)
    @Test
    public void testAddUser() {
        User user = new User("zhaoliu", 40);
        int rows = userDao.addUser(user);
        assertEquals(1, rows); // 新增成功返回1
    }

    // 測試讀操作(路由至從庫,輪詢)
    @Test
    public void testListAllUsers() {
        List<User> userList = userDao.listAllUsers();
        assertNotNull(userList);
        System.out.println("查詢用戶數(shù)量:" + userList.size());
        // 連續(xù)查詢3次,觀察ShardingProxy日志,確認從庫輪詢(slave_ds_0 → slave_ds_1 → slave_ds_0)
        for (int i = 0; i < 3; i++) {
            userDao.listAllUsers();
        }
    }

    // 測試強制讀主庫(保障數(shù)據(jù)一致性)
    @Test
    public void testGetUserById() {
        // 先新增用戶(寫主庫)
        User user = new User("qianqi", 28);
        userDao.addUser(user);
        // 立即查詢剛新增的用戶(強制讀主庫,避免主從延遲導致查不到數(shù)據(jù))
        User result = userDao.getUserById(user.getId());
        assertNotNull(result);
        assertEquals("qianqi", result.getUsername());
    }
}


## 五、常見問題與解決方案
### 5.1 主從數(shù)據(jù)不一致
#### 問題表現(xiàn)
應用執(zhí)行“寫主庫后立即讀從庫”時,可能查詢不到最新數(shù)據(jù)(因主從復制存在延遲)。

#### 解決方案
1. **強制路由主庫**:對核心業(yè)務場景(如用戶注冊后立即查詢用戶信息),使用Hint語法強制讀主庫:
   ```sql
   /*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */ 
   SELECT * FROM t_user WHERE id = ?

配置延遲閾值:在config-sharding.yaml中設置read-write-splitting-delay-threshold(單位:毫秒),當從庫延遲超過閾值時,自動路由至主庫:

props:
  read-write-splitting-delay-threshold: 500  # 從庫延遲>500ms時讀主庫

5.2 從庫故障導致讀失敗

問題表現(xiàn)

某臺從庫宕機或網(wǎng)絡故障時,ShardingProxy若仍將請求路由至該從庫,會導致讀操作失敗。

解決方案

ShardingProxy默認支持從庫故障檢測與自動剔除,需在config-sharding.yaml中配置健康檢查參數(shù):

dataSources:
  slave_ds_0:
    # 其他配置省略...
    health:
      check:
        enable: true  # 開啟健康檢查
        timeout: 3000  # 檢查超時時間(毫秒)
        interval: 5000  # 檢查間隔(毫秒)
  slave_ds_1:
    # 同上配置...

配置后,當從庫連續(xù)3次健康檢查失敗,ShardingProxy會將其從可用列表中剔除;恢復正常后,自動重新加入。

5.3 SQL路由錯誤

問題表現(xiàn)

某些特殊SQL(如SELECT ... FOR UPDATE)被誤判為讀操作,路由至從庫導致執(zhí)行失?。◤膸炷J只讀)。

解決方案

config-sharding.yaml中配置SQL路由規(guī)則,修正特殊SQL的路由邏輯:

rules:
- !READWRITE_SPLITTING
  dataSources:
    sharding_rw_ds:
      # 其他配置省略...
      props:
        # 自定義SQL路由規(guī)則:將包含F(xiàn)OR UPDATE的SELECT視為寫操作
        sql-parser-rule: "SELECT.*FOR UPDATE"
        sql-parser-rule-type: WRITE  # 匹配上述規(guī)則的SQL視為寫操作

總結(jié)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • Gradle build 報錯:Received status code 400 from server

    Gradle build 報錯:Received status code 400 from server

    這篇文章主要介紹了Gradle build 報錯:Received status code 400 from server,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-07-07
  • 在ChatGPT的API中支持多輪對話的實現(xiàn)方法

    在ChatGPT的API中支持多輪對話的實現(xiàn)方法

    ChatGPT是由OpenAI研發(fā)的一種預訓練語言模型,只能在OpenAI平臺上進行訓練,目前并不對外開放訓練接口,這篇文章主要介紹了在ChatGPT的API中支持多輪對話的實現(xiàn)方法,需要的朋友可以參考下
    2023-02-02
  • Java實現(xiàn)仿淘寶滑動驗證碼研究代碼詳解

    Java實現(xiàn)仿淘寶滑動驗證碼研究代碼詳解

    這篇文章主要介紹了Java實現(xiàn)仿淘寶滑動驗證碼研究代碼詳解的相關資料,非常不錯,具有參考借鑒價值,需要的朋友可以參考下
    2016-06-06
  • IDEA報錯之前言中不允許有內(nèi)容問題及解決

    IDEA報錯之前言中不允許有內(nèi)容問題及解決

    當使用IntelliJ IDEA時,可能會遇到報錯信息“前言中不允許有內(nèi)容”,這通常是由于XML文件是以帶有BOM頭的UTF-8格式保存的,導致IDE的解析出錯,解決辦法是在IDEA中調(diào)整文件編碼設置為無BOM的UTF-8,然后用文本編輯器(如Notepad++)
    2024-10-10
  • intellij idea查看方法被哪些類引用過(推薦)

    intellij idea查看方法被哪些類引用過(推薦)

    這篇文章主要介紹了intellij idea查看方法被哪些類引用過,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-08-08
  • Java內(nèi)存模型原子性原理及實例解析

    Java內(nèi)存模型原子性原理及實例解析

    這篇文章主要介紹了Java內(nèi)存模型原子性原理及實例解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-12-12
  • Spark?Streaming?內(nèi)部運行機制示例詳解

    Spark?Streaming?內(nèi)部運行機制示例詳解

    這篇文章主要介紹了Spark?Streaming?內(nèi)部運行機制示例詳解,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧
    2025-05-05
  • Java 實用工具類Spring 的 AnnotationUtils詳解

    Java 實用工具類Spring 的 AnnotationUtils詳解

    Spring 框架提供了一個強大的注解工具類 org.springframework.core.annotation.AnnotationUtils,用于簡化注解的獲取、合成與解析過程,本文給大家介紹Java 實用工具類:Spring 的 AnnotationUtils,感興趣的朋友一起看看吧
    2025-04-04
  • Java復制(拷貝)數(shù)組的五種方法匯總

    Java復制(拷貝)數(shù)組的五種方法匯總

    java基礎在Java中我們經(jīng)常需要復制一個數(shù)組,下面這篇文章主要給大家介紹了關于Java復制(拷貝)數(shù)組的五種方法,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2023-03-03
  • Java Session會話追蹤原理深入分析

    Java Session會話追蹤原理深入分析

    web開發(fā)階段我們主要是瀏覽器和服務器之間來進行交互。瀏覽器和服務器之間的交互就像人和人之間進行交流一樣,但是對于機器來說,在一次請求之間只是會攜帶著本次請求的數(shù)據(jù)的,但是可能多次請求之間是會有聯(lián)系的,所以提供了會話機制
    2022-11-11

最新評論