springboot+mybatis攔截器方法實(shí)現(xiàn)水平分表操作
1.前言
業(yè)務(wù)飛速發(fā)展導(dǎo)致了數(shù)據(jù)規(guī)模的急速膨脹,單機(jī)數(shù)據(jù)庫已經(jīng)無法適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展。由于MySQL采用 B+樹索引,數(shù)據(jù)量超過閾值時(shí),索引深度的增加也將使得磁盤訪問的 IO 次數(shù)增加,進(jìn)而導(dǎo)致查詢性能的下降;高并發(fā)訪問請(qǐng)求也使得集中式數(shù)據(jù)庫成為系統(tǒng)的最大瓶頸。我們團(tuán)隊(duì)結(jié)合公司業(yè)務(wù)背景商議最終選定一份表的形式進(jìn)行解決這一瓶頸問題,由我作為主要開發(fā)主導(dǎo)完成,故寫篇博客記錄沉淀。
2.MyBatis 允許使用插件來攔截的方法
- Executor (update, query, flushStatements, commit, rollback, getTransaction, close, isClosed)
- ParameterHandler (getParameterObject, setParameters)
- ResultSetHandler (handleResultSets, handleOutputParameters)
- StatementHandler (prepare, parameterize, batch, update, query)
總體概括為:
- 攔截執(zhí)行器的方法
- 攔截參數(shù)的處理
- 攔截結(jié)果集的處理
- 攔截Sql語法構(gòu)建的處理
這4各方法在MyBatis的一個(gè)操作(新增,刪除,修改,查詢)中都會(huì)被執(zhí)行到,執(zhí)行的先后順序是Executor,ParameterHandler,ResultSetHandler,StatementHandler。
3、Interceptor接口
package org.apache.ibatis.plugin; import java.util.Properties; public interface Interceptor { //intercept方法就是要進(jìn)行攔截的時(shí)候要執(zhí)行的方法。 Object intercept(Invocation invocation) throws Throwable; //plugin方法是攔截器用于封裝目標(biāo)對(duì)象的,通過該方法我們可以返回目標(biāo)對(duì)象本身,也可以返回一個(gè)它的代理。當(dāng)返回的是代理的時(shí)候我們可以對(duì)其中的方法進(jìn)行攔截來調(diào)用intercept方法,當(dāng)然也可以調(diào)用其他方法。 Object plugin(Object target); //setProperties方法是用于在Mybatis配置文件中指定一些屬性的。 void setProperties(Properties properties); }
4分表實(shí)現(xiàn)
4.1、大體思路
分表的表結(jié)構(gòu)已經(jīng)預(yù)設(shè)完畢,所以現(xiàn)在我們只需要在進(jìn)行增刪改查的時(shí)候直接一次鎖定目標(biāo)表,然后替換目標(biāo)sql。
4.2、逐步實(shí)現(xiàn)
4.2.1 Mybatis如何找到我們新增的攔截服務(wù)
對(duì)于攔截器Mybatis為我們提供了一個(gè)Interceptor接口,前面有提到,通過實(shí)現(xiàn)該接口就可以定義我們自己的攔截器。自定義的攔截器需要交給Mybatis管理,這樣才能使得Mybatis的執(zhí)行與攔截器的執(zhí)行結(jié)合在一起,即,利用springboot把自定義攔截器注入。
package com.shinemo.insurance.common.config; import org.apache.ibatis.plugin.Interceptor; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class TableShardConfig { /** * 注冊(cè)插件 */ @Bean public Interceptor tableShardInterceptor() { return new TableShardInterceptor(); } }
4.2.2 應(yīng)該攔截什么樣的對(duì)象
因?yàn)閿r截器是全局?jǐn)r截的,我們只需要攔截我們需要攔截的mapper,故需要用注解進(jìn)行標(biāo)識(shí)
package com.shinemo.insurance.common.annotation; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; @Target(value = { ElementType.TYPE, ElementType.METHOD }) @Retention(RetentionPolicy.RUNTIME) public @interface TableShard { // 表前綴名 String tableNamePrefix(); // 值 String value() default ""; // 是否是字段名,如果是需要解析請(qǐng)求參數(shù)改字段名的值(默認(rèn)否) boolean fieldFlag() default false; }
我們只需要把這個(gè)注解標(biāo)識(shí)在我們要攔截的mapper上
@Mapper @TableShard(tableNamePrefix = "t_insurance_video_people_", value = "deviceId", fieldFlag = true) public interface InsuranceVideoPeopleMapper { //VideoPeople對(duì)象中包含deviceId字段 int insert(VideoPeople videoPeople); }
4.2.3 實(shí)現(xiàn)自定義攔截器
package com.shinemo.insurance.common.config; import java.lang.reflect.Field; import java.lang.reflect.Method; import java.sql.Connection; import java.util.Map; import com.shinemo.insurance.common.annotation.TableShard; import com.shinemo.insurance.common.util.HashUtil; import org.apache.ibatis.binding.MapperMethod; import org.apache.ibatis.executor.statement.StatementHandler; import org.apache.ibatis.mapping.BoundSql; import org.apache.ibatis.mapping.MappedStatement; import org.apache.ibatis.plugin.Interceptor; import org.apache.ibatis.plugin.Intercepts; import org.apache.ibatis.plugin.Invocation; import org.apache.ibatis.plugin.Plugin; import org.apache.ibatis.plugin.Signature; import org.apache.ibatis.reflection.DefaultReflectorFactory; import org.apache.ibatis.reflection.MetaObject; import org.apache.ibatis.reflection.ReflectorFactory; import org.apache.ibatis.reflection.SystemMetaObject; @Intercepts({ @Signature(type = StatementHandler.class, method = "prepare", args = { Connection.class, Integer.class }) }) public class TableShardInterceptor implements Interceptor { private static final ReflectorFactory DEFAULT_REFLECTOR_FACTORY = new DefaultReflectorFactory(); @Override public Object intercept(Invocation invocation) throws Throwable { // MetaObject是mybatis里面提供的一個(gè)工具類,類似反射的效果 MetaObject metaObject = getMetaObject(invocation); BoundSql boundSql = (BoundSql) metaObject.getValue("delegate.boundSql"); MappedStatement mappedStatement = (MappedStatement) metaObject .getValue("delegate.mappedStatement"); // 獲取Mapper執(zhí)行方法 Method method = invocation.getMethod(); // 獲取分表注解 TableShard tableShard = getTableShard(method, mappedStatement); // 如果method與class都沒有TableShard注解或執(zhí)行方法不存在,執(zhí)行下一個(gè)插件邏輯 if (tableShard == null) { return invocation.proceed(); } //獲取值,此值就是拿的注解上value值,注解上value設(shè)定的值,并在傳入對(duì)象中獲取,根據(jù)業(yè)務(wù)可以選擇適當(dāng)?shù)闹导纯桑疫x取此值的目的是同一臺(tái)設(shè)備的值存入一張表中,有hash沖突的值也存在一張表中 String value = tableShard.value(); //value是否字段名,如果是,需要解析請(qǐng)求參數(shù)字段名的值 boolean fieldFlag = tableShard.fieldFlag(); if (fieldFlag) { //獲取請(qǐng)求參數(shù) Object parameterObject = boundSql.getParameterObject(); if (parameterObject instanceof MapperMethod.ParamMap) { // ParamMap類型邏輯處理 MapperMethod.ParamMap parameterMap = (MapperMethod.ParamMap) parameterObject; // 根據(jù)字段名獲取參數(shù)值 Object valueObject = parameterMap.get(value); if (valueObject == null) { throw new RuntimeException(String.format("入?yún)⒆侄?s無匹配", value)); } //替換sql replaceSql(tableShard, valueObject, metaObject, boundSql); } else { // 單參數(shù)邏輯 //如果是基礎(chǔ)類型拋出異常 if (isBaseType(parameterObject)) { throw new RuntimeException("單參數(shù)非法,請(qǐng)使用@Param注解"); } if (parameterObject instanceof Map) { Map<String, Object> parameterMap = (Map<String, Object>) parameterObject; Object valueObject = parameterMap.get(value); //替換sql replaceSql(tableShard, valueObject, metaObject, boundSql); } else { //非基礎(chǔ)類型對(duì)象 Class<?> parameterObjectClass = parameterObject.getClass(); Field declaredField = parameterObjectClass.getDeclaredField(value); declaredField.setAccessible(true); Object valueObject = declaredField.get(parameterObject); //替換sql replaceSql(tableShard, valueObject, metaObject, boundSql); } } } else {//無需處理parameterField //替換sql replaceSql(tableShard, value, metaObject, boundSql); } //把原有的簡(jiǎn)單查詢語句替換為分表查詢語句了,現(xiàn)在是時(shí)候?qū)⒊绦虻目刂茩?quán)交還給Mybatis下一個(gè)攔截器處理 return invocation.proceed(); } /** * @description: * @param target * @return: Object */ @Override public Object plugin(Object target) { // 當(dāng)目標(biāo)類是StatementHandler類型時(shí),才包裝目標(biāo)類,否者直接返回目標(biāo)本身, 減少目標(biāo)被代理的次數(shù) if (target instanceof StatementHandler) { return Plugin.wrap(target, this); } else { return target; } } /** * @description: 基本數(shù)據(jù)類型驗(yàn)證,true是,false否 * @param object * @return: boolean */ private boolean isBaseType(Object object) { if (object.getClass().isPrimitive() || object instanceof String || object instanceof Integer || object instanceof Double || object instanceof Float || object instanceof Long || object instanceof Boolean || object instanceof Byte || object instanceof Short) { return true; } else { return false; } } /** * @description: 替換sql * @param tableShard 分表注解 * @param value 值 * @param metaObject mybatis反射對(duì)象 * @param boundSql sql信息對(duì)象 * @return: void */ private void replaceSql(TableShard tableShard, Object value, MetaObject metaObject, BoundSql boundSql) { String tableNamePrefix = tableShard.tableNamePrefix(); // // 獲取策略class // Class<? extends ITableShardStrategy> strategyClazz = tableShard.shardStrategy(); // // 從spring ioc容器獲取策略類 // ITableShardStrategy tableShardStrategy = SpringBeanUtil.getBean(strategyClazz); // 生成分表名 String shardTableName = generateTableName(tableNamePrefix, (String) value); // 獲取sql String sql = boundSql.getSql(); // 完成表名替換 metaObject.setValue("delegate.boundSql.sql", sql.replaceAll(tableNamePrefix, shardTableName)); } /** * 生成表名 * * @param tableNamePrefix 表名前綴 * @param value 價(jià)值 * @return {@link String} */ private String generateTableName(String tableNamePrefix, String value) { //我們分了1024張表 int prime = 1024; //hash取模運(yùn)算過后,鎖定目標(biāo)表 int rotatingHash = HashUtil.rotatingHash(value, prime); return tableNamePrefix + rotatingHash; } /** * @description: 獲取MetaObject對(duì)象-mybatis里面提供的一個(gè)工具類,類似反射的效果 * @param invocation * @return: MetaObject */ private MetaObject getMetaObject(Invocation invocation) { StatementHandler statementHandler = (StatementHandler) invocation.getTarget(); // MetaObject是mybatis里面提供的一個(gè)工具類,類似反射的效果 MetaObject metaObject = MetaObject.forObject(statementHandler, SystemMetaObject.DEFAULT_OBJECT_FACTORY, SystemMetaObject.DEFAULT_OBJECT_WRAPPER_FACTORY, DEFAULT_REFLECTOR_FACTORY); return metaObject; } /** * @description: 獲取分表注解 * @param method * @param mappedStatement * @return: TableShard */ private TableShard getTableShard(Method method, MappedStatement mappedStatement) throws ClassNotFoundException { String id = mappedStatement.getId(); // 獲取Class final String className = id.substring(0, id.lastIndexOf(".")); // 分表注解 TableShard tableShard = null; // 獲取Mapper執(zhí)行方法的TableShard注解 tableShard = method.getAnnotation(TableShard.class); // 如果方法沒有設(shè)置注解,從Mapper接口上面獲取TableShard注解 if (tableShard == null) { // 獲取TableShard注解 tableShard = Class.forName(className).getAnnotation(TableShard.class); } return tableShard; } }
到此這篇關(guān)于springboot+mybatis攔截器方法實(shí)現(xiàn)水平分表操作的文章就介紹到這了,更多相關(guān)springboot mybatis水平分表操作內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java?PTA?計(jì)算3到7位?水仙花數(shù)實(shí)例
這篇文章主要介紹了Java?PTA?計(jì)算3到7位?水仙花數(shù)實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-03-03Windows下Java環(huán)境配置的超詳細(xì)教程
這篇文章主要給大家介紹了關(guān)于Windows下Java環(huán)境配置的超詳細(xì)教程,文中通過圖文將配置的過程介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-01-01去掉IntelliJ IDEA 中 mybatis 對(duì)應(yīng)的 xml 文件警告的教程圖解
本文通過圖文并茂的形式給大家介紹了去掉IntelliJ IDEA 中 mybatis 對(duì)應(yīng)的 xml 文件警告的教程,需要的朋友可以參考下2018-06-06SpringBoot實(shí)現(xiàn)動(dòng)態(tài)配置及項(xiàng)目打包部署上線功能
本文講解的是如何使用Spring動(dòng)態(tài)配置文件,實(shí)現(xiàn)不同環(huán)境不同配置,靈活切換配置文件;以及講述了如何使用?Maven?打包,然后上傳至Linux服務(wù)器進(jìn)行部署,對(duì)SpringBoot打包部署上線過程感興趣的朋友一起看看吧2022-10-10SpringBoot3.x版本與Mybatis-Plus不兼容問題
當(dāng)使用3.x版本的SpringBoot結(jié)合Mybatis-Plus時(shí)版本不兼容就會(huì)報(bào)錯(cuò),本文就來介紹一下這個(gè)問題的解決方法,感興趣的可以了解一下2024-03-03Java實(shí)現(xiàn)規(guī)則幾何圖形的繪制與周長(zhǎng)面積計(jì)算詳解
隨著計(jì)算機(jī)的發(fā)展,人們對(duì)圖形的計(jì)算要求會(huì)越來越高。在各行各業(yè)中的計(jì)算人員會(huì)對(duì)圖形的計(jì)算要有便利的要求,規(guī)則幾何圖形問題求解程序應(yīng)運(yùn)而生!本文將用Java編寫一個(gè)程序,可以實(shí)現(xiàn)規(guī)則幾何圖形的繪制與周長(zhǎng)面積計(jì)算,感興趣的可以了解一下2022-07-07@TransactionalEventListener的使用和實(shí)現(xiàn)原理分析
這篇文章主要介紹了@TransactionalEventListener的使用和實(shí)現(xiàn)原理分析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-12-12