ShardingProxy讀寫分離之原理、配置與實踐過程
一、ShardingProxy技術定位與讀寫分離核心價值
1.1 技術定位
ShardingProxy是Apache ShardingSphere生態(tài)中的數(shù)據(jù)庫中間件,采用客戶端-代理-數(shù)據(jù)庫的三層架構(gòu)模式,對應用程序透明(無需修改應用代碼),負責接收應用的SQL請求并進行路由轉(zhuǎn)發(fā)。其核心定位是:作為分布式數(shù)據(jù)庫的“流量入口”,解決單機數(shù)據(jù)庫在高并發(fā)場景下的性能瓶頸,支持讀寫分離、分庫分表、數(shù)據(jù)脫敏等核心能力,在微服務架構(gòu)、高流量業(yè)務系統(tǒng)(如電商訂單、用戶中心)中廣泛應用。
在整個技術體系中,ShardingProxy處于“應用層與數(shù)據(jù)庫層之間的中間件層”,上接應用服務的SQL請求,下連主從架構(gòu)的數(shù)據(jù)庫集群,承擔SQL解析、路由決策、結(jié)果合并等關鍵職責,是實現(xiàn)數(shù)據(jù)庫水平擴展的核心組件之一。
1.2 讀寫分離核心價值
在傳統(tǒng)單機數(shù)據(jù)庫架構(gòu)中,“讀”和“寫”操作均依賴同一臺數(shù)據(jù)庫,當業(yè)務流量增長(如秒殺活動、高頻查詢場景)時,讀請求會大量占用數(shù)據(jù)庫資源,導致寫操作響應延遲,甚至引發(fā)數(shù)據(jù)庫性能雪崩。
ShardingProxy讀寫分離的核心價值在于拆分讀寫流量:
- 將“寫操作”(INSERT/UPDATE/DELETE)路由至主庫,保證數(shù)據(jù)一致性;
- 將“讀操作”(SELECT)路由至從庫,利用從庫集群分擔讀壓力;
- 支持從庫負載均衡,避免單從庫成為新瓶頸;
- 提供故障轉(zhuǎn)移能力,當某臺從庫下線時,自動將讀流量切換至其他可用從庫。
二、ShardingProxy讀寫分離核心原理
2.1 整體工作流程
ShardingProxy實現(xiàn)讀寫分離的核心流程分為5個步驟,具體如下:
| 步驟 | 核心操作 | 說明 |
|---|---|---|
| 1 | SQL接收 | 應用通過JDBC/ODBC協(xié)議連接ShardingProxy(代理地址與端口),發(fā)送SQL請求 |
| 2 | SQL解析 | ShardingProxy對SQL進行語法解析、語義分析,判斷SQL類型(讀/寫) |
| 3 | 路由決策 | 根據(jù)預設的讀寫分離規(guī)則,決定將請求路由至主庫(寫操作)或從庫(讀操作);若為讀操作,還需通過負載均衡算法選擇具體從庫 |
| 4 | 請求轉(zhuǎn)發(fā) | 將解析后的SQL轉(zhuǎn)發(fā)至目標數(shù)據(jù)庫(主庫/從庫) |
| 5 | 結(jié)果返回 | 接收目標數(shù)據(jù)庫的執(zhí)行結(jié)果,若涉及多從庫(如分頁查詢合并)則進行結(jié)果處理,最終返回給應用 |
2.2 關鍵技術點
2.2.1 SQL類型判斷
ShardingProxy通過SQL語法樹解析區(qū)分讀寫操作:
- 寫操作判定:包含INSERT、UPDATE、DELETE、CREATE、ALTER等會修改數(shù)據(jù)或表結(jié)構(gòu)的SQL;
- 讀操作判定:僅包含SELECT的SQL(特殊場景如SELECT … FOR UPDATE會被判定為寫操作,需單獨配置)。
2.2.2 從庫負載均衡算法
ShardingProxy支持3種常用負載均衡算法,滿足不同業(yè)務場景需求:
- 輪詢算法(ROUND_ROBIN):按從庫順序依次分配讀請求,適用于各從庫配置一致的場景;
- 隨機算法(RANDOM):隨機選擇從庫分配請求,適用于從庫性能存在輕微差異的場景;
- 權重算法(WEIGHT):根據(jù)從庫權重分配請求(權重越高,接收請求越多),適用于從庫配置差異較大的場景(如高性能從庫權重設為10,普通從庫設為5)。
2.2.3 主從數(shù)據(jù)一致性保障
由于主從復制存在延遲(MySQL默認異步復制),可能導致“寫主庫后立即讀從庫”出現(xiàn)數(shù)據(jù)不一致問題。ShardingProxy提供2種解決方案:
- 強制路由主庫:對核心業(yè)務讀請求(如用戶下單后查詢訂單狀態(tài)),通過Hint語法強制路由至主庫;
- 主從延遲控制:配置從庫延遲閾值(如500ms),當從庫延遲超過閾值時,自動將讀請求路由至主庫,避免臟讀。
三、ShardingProxy讀寫分離環(huán)境搭建與配置
3.1 前置環(huán)境準備
搭建ShardingProxy讀寫分離需滿足以下環(huán)境依賴,以MySQL主從架構(gòu)為例:
| 組件 | 版本要求 | 說明 |
|---|---|---|
| JDK | 1.8及以上 | ShardingProxy基于Java開發(fā),需配置JAVA_HOME |
| MySQL | 5.7/8.0 | 需提前搭建MySQL主從復制(異步/半同步均可) |
| ShardingProxy | 4.1.1(穩(wěn)定版) | 從Apache官網(wǎng)下載 |
MySQL主從復制驗證
確保主從復制正常運行,在主庫執(zhí)行以下SQL創(chuàng)建測試表并插入數(shù)據(jù),從庫需能同步數(shù)據(jù):
-- 主庫創(chuàng)建測試庫
CREATE DATABASE IF NOT EXISTS sharding_db;
USE sharding_db;
-- 創(chuàng)建用戶表
CREATE TABLE `t_user` (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`username` VARCHAR(50) NOT NULL,
`age` INT NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- 插入測試數(shù)據(jù)(從庫需同步該數(shù)據(jù))
INSERT INTO t_user (username, age) VALUES ('zhangsan', 25), ('lisi', 30);
3.2 ShardingProxy核心配置
ShardingProxy的配置文件位于conf目錄下,核心配置文件為server.yaml(全局配置)和config-sharding.yaml(讀寫分離+分庫分表配置)。
3.2.1 server.yaml配置(全局基礎配置)
# 服務端口(應用連接ShardingProxy的端口)
serverPort: 3307
# 管理端口(用于監(jiān)控和運維)
adminPort: 8088
# 數(shù)據(jù)庫驅(qū)動類名
driverClassName: com.mysql.cj.jdbc.Driver
# 認證配置(應用連接ShardingProxy的賬號密碼)
authentication:
users:
root:
password: 123456 # 應用連接密碼
sharding:
password: sharding
authorizedSchemas: sharding_db # 授權訪問的數(shù)據(jù)庫
# 日志配置(輸出SQL路由日志,便于調(diào)試)
props:
max.connections.size.per.query: 1
acceptor.size: 16 # 用于接收連接的線程數(shù)
executor.size: 16 # 用于處理SQL的線程數(shù)
proxy.frontend.flush.threshold: 128 # 前端刷盤閾值
proxy.transaction.type: LOCAL
proxy.opentracing.enabled: false
query.with.cipher.column: true
sql.show: true # 開啟SQL顯示(打印路由后的SQL,調(diào)試必備)
3.2.2 config-sharding.yaml配置(讀寫分離核心配置)
# 數(shù)據(jù)源配置(主庫+從庫)
dataSources:
# 主庫數(shù)據(jù)源
master_ds:
type: com.zaxxer.hikari.HikariDataSource
driverClassName: com.mysql.cj.jdbc.Driver
jdbcUrl: jdbc:mysql://192.168.1.100:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
username: root
password: root123
connectionTimeout: 30000
idleTimeout: 60000
maxLifetime: 1800000
maximumPoolSize: 50
# 從庫1數(shù)據(jù)源
slave_ds_0:
type: com.zaxxer.hikari.HikariDataSource
driverClassName: com.mysql.cj.jdbc.Driver
jdbcUrl: jdbc:mysql://192.168.1.101:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
username: root
password: root123
connectionTimeout: 30000
idleTimeout: 60000
maxLifetime: 1800000
maximumPoolSize: 50
# 從庫2數(shù)據(jù)源(可擴展多個從庫)
slave_ds_1:
type: com.zaxxer.hikari.HikariDataSource
driverClassName: com.mysql.cj.jdbc.Driver
jdbcUrl: jdbc:mysql://192.168.1.102:3306/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
username: root
password: root123
connectionTimeout: 30000
idleTimeout: 60000
maxLifetime: 1800000
maximumPoolSize: 50
# 讀寫分離規(guī)則配置
rules:
- !READWRITE_SPLITTING
dataSources:
# 讀寫分離數(shù)據(jù)源名稱(應用實際訪問的數(shù)據(jù)源名)
sharding_rw_ds:
type: Static
props:
write-data-source-name: master_ds # 寫操作路由至主庫
read-data-source-names: slave_ds_0,slave_ds_1 # 讀操作路由至兩個從庫
load-balance-algorithm-type: ROUND_ROBIN # 從庫負載均衡算法(輪詢)
# 可選:主從延遲控制(超過500ms則讀主庫)
# read-write-splitting-delay-threshold: 500
# 綁定表規(guī)則(無分表時可省略,此處僅作示例)
bindingTables:
- t_user
# 默認數(shù)據(jù)源(當SQL未匹配任何規(guī)則時,路由至該數(shù)據(jù)源)
defaultDataSourceName: sharding_rw_ds
3.3 ShardingProxy啟動與驗證
3.3.1 啟動ShardingProxy
進入ShardingProxy的bin目錄;
執(zhí)行啟動腳本(Windows用start.bat,Linux用start.sh):
# Linux啟動命令(指定配置文件目錄) ./start.sh ../conf
驗證啟動狀態(tài):查看logs/stdout.log日志,若出現(xiàn)以下內(nèi)容則啟動成功:
[INFO ] 2024-05-20 10:00:00.000 [main] o.a.s.p.frontend.ShardingSphereProxy - ShardingSphere-Proxy start success.
3.3.2 連接驗證(使用Navicat/MySQL客戶端)
連接參數(shù):
- 主機:ShardingProxy所在服務器IP(如192.168.1.103);
- 端口:3307(對應
server.yaml中的serverPort); - 賬號:root(對應
server.yaml中的認證用戶); - 密碼:123456(對應
server.yaml中的認證密碼); - 數(shù)據(jù)庫:sharding_db(授權數(shù)據(jù)庫)。
執(zhí)行讀寫操作驗證:
-- 1. 寫操作(INSERT):查看ShardingProxy日志,確認路由至master_ds
INSERT INTO t_user (username, age) VALUES ('wangwu', 35);
-- 2. 讀操作(SELECT):查看日志,確認輪詢路由至slave_ds_0、slave_ds_1
SELECT * FROM t_user;
-- 3. 強制讀主庫(Hint語法):核心業(yè)務讀請求用此方式保障一致性
/*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */
SELECT * FROM t_user WHERE id = 3;
四、工程實踐:SpringBoot整合ShardingProxy讀寫分離
4.1 項目依賴配置(pom.xml)
在SpringBoot項目中添加MySQL驅(qū)動和JDBC依賴(無需添加ShardingSphere客戶端依賴,因應用僅需連接ShardingProxy,無需感知中間件細節(jié)):
<dependencies>
<!-- SpringBoot JDBC Starter -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<!-- MySQL驅(qū)動 -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.32</version>
<scope>runtime</scope>
</dependency>
<!-- 數(shù)據(jù)庫連接池(HikariCP) -->
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
</dependency>
<!-- SpringBoot Test(用于測試) -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
4.2 數(shù)據(jù)庫配置(application.yml)
應用連接ShardingProxy的配置,與連接普通MySQL數(shù)據(jù)庫一致(無需修改代碼,完全透明):
spring:
datasource:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://192.168.1.103:3307/sharding_db?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true
username: root
password: 123456
hikari:
maximum-pool-size: 20
minimum-idle: 5
connection-timeout: 30000
idle-timeout: 600000
4.3 業(yè)務代碼實現(xiàn)(用戶模塊示例)
4.3.1 實體類(User.java)
public class User {
private Long id;
private String username;
private Integer age;
// 無參構(gòu)造、有參構(gòu)造、getter、setter
public User() {}
public User(String username, Integer age) {
this.username = username;
this.age = age;
}
// getter和setter
public Long getId() { return id; }
public void setId(Long id) { this.id = id; }
public String getUsername() { return username; }
public void setUsername(String username) { this.username = username; }
public Integer getAge() { return age; }
public void setAge(Integer age) { this.age = age; }
}
4.3.2 DAO層(UserDao.java)
使用JdbcTemplate實現(xiàn)數(shù)據(jù)訪問(MyBatis/MyBatis-Plus用法一致,僅需配置數(shù)據(jù)源):
import org.springframework.jdbc.core.BeanPropertyRowMapper;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Repository;
import javax.annotation.Resource;
import java.util.List;
@Repository
public class UserDao {
@Resource
private JdbcTemplate jdbcTemplate;
// 寫操作:新增用戶(路由至主庫)
public int addUser(User user) {
String sql = "INSERT INTO t_user (username, age) VALUES (?, ?)";
return jdbcTemplate.update(sql, user.getUsername(), user.getAge());
}
// 讀操作:查詢所有用戶(路由至從庫,輪詢)
public List<User> listAllUsers() {
String sql = "SELECT id, username, age FROM t_user";
return jdbcTemplate.query(sql, new BeanPropertyRowMapper<>(User.class));
}
// 讀操作:強制讀主庫(核心業(yè)務,保障數(shù)據(jù)一致性)
public User getUserById(Long id) {
// Hint語法:強制路由至主庫
String sql = "/*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */ " +
"SELECT id, username, age FROM t_user WHERE id = ?";
return jdbcTemplate.queryForObject(sql, new BeanPropertyRowMapper<>(User.class), id);
}
}
4.4 測試代碼(UserDaoTest.java)
通過單元測試驗證讀寫分離效果:
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
import javax.annotation.Resource;
import java.util.List;
import static org.junit.jupiter.api.Assertions.*;
@SpringBootTest
public class UserDaoTest {
@Resource
private UserDao userDao;
// 測試寫操作(路由至主庫)
@Test
public void testAddUser() {
User user = new User("zhaoliu", 40);
int rows = userDao.addUser(user);
assertEquals(1, rows); // 新增成功返回1
}
// 測試讀操作(路由至從庫,輪詢)
@Test
public void testListAllUsers() {
List<User> userList = userDao.listAllUsers();
assertNotNull(userList);
System.out.println("查詢用戶數(shù)量:" + userList.size());
// 連續(xù)查詢3次,觀察ShardingProxy日志,確認從庫輪詢(slave_ds_0 → slave_ds_1 → slave_ds_0)
for (int i = 0; i < 3; i++) {
userDao.listAllUsers();
}
}
// 測試強制讀主庫(保障數(shù)據(jù)一致性)
@Test
public void testGetUserById() {
// 先新增用戶(寫主庫)
User user = new User("qianqi", 28);
userDao.addUser(user);
// 立即查詢剛新增的用戶(強制讀主庫,避免主從延遲導致查不到數(shù)據(jù))
User result = userDao.getUserById(user.getId());
assertNotNull(result);
assertEquals("qianqi", result.getUsername());
}
}
## 五、常見問題與解決方案
### 5.1 主從數(shù)據(jù)不一致
#### 問題表現(xiàn)
應用執(zhí)行“寫主庫后立即讀從庫”時,可能查詢不到最新數(shù)據(jù)(因主從復制存在延遲)。
#### 解決方案
1. **強制路由主庫**:對核心業(yè)務場景(如用戶注冊后立即查詢用戶信息),使用Hint語法強制讀主庫:
```sql
/*!SHARDINGSPHERE_HINT: DATA_SOURCE_NAME=master_ds */
SELECT * FROM t_user WHERE id = ?
配置延遲閾值:在config-sharding.yaml中設置read-write-splitting-delay-threshold(單位:毫秒),當從庫延遲超過閾值時,自動路由至主庫:
props: read-write-splitting-delay-threshold: 500 # 從庫延遲>500ms時讀主庫
5.2 從庫故障導致讀失敗
問題表現(xiàn)
某臺從庫宕機或網(wǎng)絡故障時,ShardingProxy若仍將請求路由至該從庫,會導致讀操作失敗。
解決方案
ShardingProxy默認支持從庫故障檢測與自動剔除,需在config-sharding.yaml中配置健康檢查參數(shù):
dataSources:
slave_ds_0:
# 其他配置省略...
health:
check:
enable: true # 開啟健康檢查
timeout: 3000 # 檢查超時時間(毫秒)
interval: 5000 # 檢查間隔(毫秒)
slave_ds_1:
# 同上配置...
配置后,當從庫連續(xù)3次健康檢查失敗,ShardingProxy會將其從可用列表中剔除;恢復正常后,自動重新加入。
5.3 SQL路由錯誤
問題表現(xiàn)
某些特殊SQL(如SELECT ... FOR UPDATE)被誤判為讀操作,路由至從庫導致執(zhí)行失?。◤膸炷J只讀)。
解決方案
在config-sharding.yaml中配置SQL路由規(guī)則,修正特殊SQL的路由邏輯:
rules:
- !READWRITE_SPLITTING
dataSources:
sharding_rw_ds:
# 其他配置省略...
props:
# 自定義SQL路由規(guī)則:將包含F(xiàn)OR UPDATE的SELECT視為寫操作
sql-parser-rule: "SELECT.*FOR UPDATE"
sql-parser-rule-type: WRITE # 匹配上述規(guī)則的SQL視為寫操作
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
Gradle build 報錯:Received status code 400 from server
這篇文章主要介紹了Gradle build 報錯:Received status code 400 from server,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-07-07
在ChatGPT的API中支持多輪對話的實現(xiàn)方法
ChatGPT是由OpenAI研發(fā)的一種預訓練語言模型,只能在OpenAI平臺上進行訓練,目前并不對外開放訓練接口,這篇文章主要介紹了在ChatGPT的API中支持多輪對話的實現(xiàn)方法,需要的朋友可以參考下2023-02-02
Spark?Streaming?內(nèi)部運行機制示例詳解
這篇文章主要介紹了Spark?Streaming?內(nèi)部運行機制示例詳解,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧2025-05-05
Java 實用工具類Spring 的 AnnotationUtils詳解
Spring 框架提供了一個強大的注解工具類 org.springframework.core.annotation.AnnotationUtils,用于簡化注解的獲取、合成與解析過程,本文給大家介紹Java 實用工具類:Spring 的 AnnotationUtils,感興趣的朋友一起看看吧2025-04-04

