背景

大促備戰(zhàn)，最大的隱患項(xiàng)之一就是慢sql，帶來的破壞性最大，也是日常工作中經(jīng)常帶來整個(gè)應(yīng)用抖動(dòng)的最大隱患，而且對(duì)sql好壞的評(píng)估有一定的技術(shù)要求，有一些缺乏經(jīng)驗(yàn)或者因?yàn)椴粔蜃屑?xì)造成一個(gè)壞的sql成功走到了線上，等發(fā)現(xiàn)的時(shí)候要么是造成了線上影響、報(bào)警、或者后置的慢sql采集發(fā)現(xiàn)，這時(shí)候一般無法快速止損，需要修改代碼上線、或者調(diào)整數(shù)據(jù)庫索引。

核心痛點(diǎn)：

1、無法提前發(fā)現(xiàn)慢sql，可能惡化為慢sql的語句

2、線上出現(xiàn)慢sql后，無法快速止損

解決思路

1、把問題解決在上線之前，最好的辦法就是在測(cè)試階段，甚至在開發(fā)階段就發(fā)現(xiàn)一個(gè)sql的好壞

2、線上發(fā)現(xiàn)慢sql后除了改代碼上線、調(diào)整數(shù)據(jù)庫表索引的方式外，支持熱更新的方式替換sql語句。

部門內(nèi)部，目前大部分?jǐn)?shù)據(jù)庫框架采用的mybatis，然后基于mybatis本身的實(shí)現(xiàn)機(jī)制中，開發(fā)一個(gè)mybatis組件，可以自動(dòng)對(duì)運(yùn)行的sql進(jìn)行提取和分析，定制一套默認(rèn)的分析規(guī)則，讓sql在開發(fā)環(huán)境和測(cè)試環(huán)境執(zhí)行的時(shí)候，就能夠做初步的評(píng)估，把有問題的慢sql在這個(gè)階段暴露出來；同時(shí)具備sql替換功能，在線上出現(xiàn)問題sql的時(shí)候，可以通過ducc配置快速完成對(duì)一個(gè)sql的在線替換，大大降低線上問題的止損時(shí)間。

開源方案調(diào)研

目前，主流的sql分析組件，核心功能主要放在了兩個(gè)方向：1、慢sql的分析和優(yōu)化建議 2、sql的優(yōu)化重寫功能，而且主要偏運(yùn)維的輔助功能無法做到無侵入的和應(yīng)用代碼進(jìn)行集成。也就無法實(shí)現(xiàn)我們的核心痛點(diǎn)，慢sql提前分析預(yù)警和動(dòng)態(tài)sql替換。

設(shè)計(jì)方案

核心功能：SQL分析預(yù)警能力、SQL替換能力

詳細(xì)設(shè)計(jì)

主要分為8個(gè)功能模塊

模塊一：core 主要負(fù)責(zé)組件的接入到mybatis，以及其它模塊的編排調(diào)用

模塊二：config 主要負(fù)責(zé)組件配置信息的初始化

模塊三：extrat 主要通過解析mybatis 相關(guān)對(duì)象，提取完整的待執(zhí)行sql

模塊四：analysis 主要拼接分析語句，執(zhí)行explain分析語句并獲取分析結(jié)果

模塊五：rule sql分析規(guī)則的加載和初始化，支持自定義規(guī)則

目前默認(rèn)規(guī)則（持續(xù)擴(kuò)展）：

1、查詢未匹配索引

2、匹配索引過濾效果較差

3、返回行數(shù)過多

4、使用了文件排序

模塊六：score 基于分析結(jié)果和配置的評(píng)分規(guī)則進(jìn)行匹配打分，優(yōu)化建議組裝

模塊七：out 輸出模塊，對(duì)于輸出結(jié)果進(jìn)行輸出，目前已error日志、MQ兩種輸出方式

模塊八：replace替換模塊，可以對(duì)sql語句基于ducc配置進(jìn)行動(dòng)態(tài)替換

使用方法

1、引入依賴jar包

<dependency>
    <groupId>com.jd.sql.analysis</groupId>
    <artifactId>sql-analysis</artifactId>
    <version>1.2-SNAPSHOT</version>
</dependency>

2、配置組件xml

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <!-- 開啟sql分析功能最簡(jiǎn)配置 -->
            <property name="analysisSwitch" value="true"/>

            <!-- 開啟sql替換功能最簡(jiǎn)配置 -->
            <property name="sqlReplaceModelSwitch" value="true"/>
            <property name="duccAppName" value="workbench-backend"/>
            <property name="duccUri" value="ucc://xxxx@test.ducc.jd.local/v1/namespace/workbench_backend/config/default/profiles/test"/>
            <property name="duccMonitorKey" value="refundBugFlag"/>
        </plugin>
    </plugins>
</configuration>

3、核心配置項(xiàng)

4、默認(rèn)分析效果展示

1、慢sql分析效果

2、sql動(dòng)態(tài)替換效果

5、實(shí)踐使用方案

1、慢sql分析-日志輸出+關(guān)鍵詞告警

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="analysisSwitch" value="true"/>
        </plugin>
    </plugins>
</configuration>

2、慢sql分析-日志輸出+mq輸出+es存儲(chǔ)+Kibana分析

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="appName" value="workbench-backend"/>
            <property name="analysisSwitch" value="true"/>
            <property name="outputModel" value="mq"/>
            <property name="mqApp" value="qlstation"/>
            <property name="mqUser" value="xxx"/>
            <property name="mqPassword" value="xxx"/>
            <property name="mqAddress" value="jmq-testcluster.jd.local:50088"/>
            <property name="mqTopic" value="jdl_kds_key_node_log"/>
        </plugin>
    </plugins>
</configuration>

最終效果

3、慢sql替換-ducc配置動(dòng)態(tài)更新sql語句

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="sqlReplaceModelSwitch" value="true"/>
            <property name="duccAppName" value="workbench-backend"/>
            <property name="duccUri" value="ucc://xxx/v1/namespace/workbench_backend/config/default/profiles/test"/>
            <property name="duccMonitorKey" value="sqlReplaceConfig"/>
        </plugin>
    </plugins>
</configuration>

發(fā)現(xiàn)慢sql

ducc配置

線上sql被動(dòng)態(tài)替換

注意：功能正式修復(fù)后，需去掉該配置，該功能僅供應(yīng)急處理線上問題，不建議作為功能長(zhǎng)期使用

性能測(cè)試

測(cè)試環(huán)境千次普通sql查詢，每種場(chǎng)景進(jìn)行了5次測(cè)試

未啟用插件耗時(shí)：11108ms，10237ms，9482ms，7938ms，8196ms

開啟sql分析耗時(shí)：16619ms，17333ms，16321ms，19057ms，18164ms

實(shí)際配置，只有首次執(zhí)行或者間隔時(shí)間執(zhí)行，單次影響10ms左右）

開啟sql替換耗時(shí)：10642ms，8803ms，8353ms，8830ms，9170ms

基本無影響

適用場(chǎng)景

1、慢sql預(yù)防

2、線上問題止損

優(yōu)勢(shì)

1、核心優(yōu)勢(shì)：執(zhí)行時(shí)分析sql，區(qū)別于傳統(tǒng)的依賴sql執(zhí)行耗時(shí)來評(píng)估慢sql，直接基于語法和索引進(jìn)行前置分析，不僅能預(yù)防某些壞sql在上線后發(fā)現(xiàn)是慢sql，還能給出sql優(yōu)化建議，可以大限度的避免線上產(chǎn)生慢sql。支持動(dòng)態(tài)對(duì)線上sql進(jìn)行替換，可以對(duì)線上問題快速止損。

2、性能：基于性能和不同的使用場(chǎng)景考慮，支持定制化配置，每個(gè)sql是否僅進(jìn)行一次檢查、或者按某個(gè)時(shí)間間隔進(jìn)行配置。sql替換幾乎無損耗。

3、擴(kuò)展：基于后續(xù)sql評(píng)分規(guī)則的擴(kuò)展、以及分析結(jié)果以不同的方式輸出的考慮，支持評(píng)分規(guī)則、輸出方式的自定義擴(kuò)展。

4、成本：接入成本低，無代碼侵入。

總結(jié)

到此這篇關(guān)于慢sql提前分析預(yù)警和動(dòng)態(tài)sql替換-Mybatis-SQL的文章就介紹到這了,更多相關(guān)Mybatis-SQL分析預(yù)警慢sql內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論