背景

大促備戰(zhàn)，最大的隱患項之一就是慢sql，帶來的破壞性最大，也是日常工作中經(jīng)常帶來整個應(yīng)用抖動的最大隱患，而且對sql好壞的評估有一定的技術(shù)要求，有一些缺乏經(jīng)驗或者因為不夠仔細(xì)造成一個壞的sql成功走到了線上，等發(fā)現(xiàn)的時候要么是造成了線上影響、報警、或者后置的慢sql采集發(fā)現(xiàn)，這時候一般無法快速止損，需要修改代碼上線、或者調(diào)整數(shù)據(jù)庫索引。

核心痛點：

1、無法提前發(fā)現(xiàn)慢sql，可能惡化為慢sql的語句

2、線上出現(xiàn)慢sql后，無法快速止損

解決思路

1、把問題解決在上線之前，最好的辦法就是在測試階段，甚至在開發(fā)階段就發(fā)現(xiàn)一個sql的好壞

2、線上發(fā)現(xiàn)慢sql后除了改代碼上線、調(diào)整數(shù)據(jù)庫表索引的方式外，支持熱更新的方式替換sql語句。

部門內(nèi)部，目前大部分?jǐn)?shù)據(jù)庫框架采用的mybatis，然后基于mybatis本身的實現(xiàn)機制中，開發(fā)一個mybatis組件，可以自動對運行的sql進(jìn)行提取和分析，定制一套默認(rèn)的分析規(guī)則，讓sql在開發(fā)環(huán)境和測試環(huán)境執(zhí)行的時候，就能夠做初步的評估，把有問題的慢sql在這個階段暴露出來；同時具備sql替換功能，在線上出現(xiàn)問題sql的時候，可以通過ducc配置快速完成對一個sql的在線替換，大大降低線上問題的止損時間。

開源方案調(diào)研

目前，主流的sql分析組件，核心功能主要放在了兩個方向：1、慢sql的分析和優(yōu)化建議 2、sql的優(yōu)化重寫功能，而且主要偏運維的輔助功能無法做到無侵入的和應(yīng)用代碼進(jìn)行集成。也就無法實現(xiàn)我們的核心痛點，慢sql提前分析預(yù)警和動態(tài)sql替換。

設(shè)計方案

核心功能：SQL分析預(yù)警能力、SQL替換能力

詳細(xì)設(shè)計

主要分為8個功能模塊

模塊一：core 主要負(fù)責(zé)組件的接入到mybatis，以及其它模塊的編排調(diào)用

模塊二：config 主要負(fù)責(zé)組件配置信息的初始化

模塊三：extrat 主要通過解析mybatis 相關(guān)對象，提取完整的待執(zhí)行sql

模塊四：analysis 主要拼接分析語句，執(zhí)行explain分析語句并獲取分析結(jié)果

模塊五：rule sql分析規(guī)則的加載和初始化，支持自定義規(guī)則

目前默認(rèn)規(guī)則（持續(xù)擴展）：

1、查詢未匹配索引

2、匹配索引過濾效果較差

3、返回行數(shù)過多

4、使用了文件排序

模塊六：score 基于分析結(jié)果和配置的評分規(guī)則進(jìn)行匹配打分，優(yōu)化建議組裝

模塊七：out 輸出模塊，對于輸出結(jié)果進(jìn)行輸出，目前已error日志、MQ兩種輸出方式

模塊八：replace替換模塊，可以對sql語句基于ducc配置進(jìn)行動態(tài)替換

使用方法

1、引入依賴jar包

<dependency>
    <groupId>com.jd.sql.analysis</groupId>
    <artifactId>sql-analysis</artifactId>
    <version>1.2-SNAPSHOT</version>
</dependency>

2、配置組件xml

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <!-- 開啟sql分析功能最簡配置 -->
            <property name="analysisSwitch" value="true"/>

            <!-- 開啟sql替換功能最簡配置 -->
            <property name="sqlReplaceModelSwitch" value="true"/>
            <property name="duccAppName" value="workbench-backend"/>
            <property name="duccUri" value="ucc://xxxx@test.ducc.jd.local/v1/namespace/workbench_backend/config/default/profiles/test"/>
            <property name="duccMonitorKey" value="refundBugFlag"/>
        </plugin>
    </plugins>
</configuration>

3、核心配置項

4、默認(rèn)分析效果展示

1、慢sql分析效果

2、sql動態(tài)替換效果

5、實踐使用方案

1、慢sql分析-日志輸出+關(guān)鍵詞告警

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="analysisSwitch" value="true"/>
        </plugin>
    </plugins>
</configuration>

2、慢sql分析-日志輸出+mq輸出+es存儲+Kibana分析

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="appName" value="workbench-backend"/>
            <property name="analysisSwitch" value="true"/>
            <property name="outputModel" value="mq"/>
            <property name="mqApp" value="qlstation"/>
            <property name="mqUser" value="xxx"/>
            <property name="mqPassword" value="xxx"/>
            <property name="mqAddress" value="jmq-testcluster.jd.local:50088"/>
            <property name="mqTopic" value="jdl_kds_key_node_log"/>
        </plugin>
    </plugins>
</configuration>

最終效果

3、慢sql替換-ducc配置動態(tài)更新sql語句

<configuration>
    <plugins>
        <plugin interceptor="com.jd.sql.analysis.core.SqlAnalysisAspect" >
            <property name="sqlReplaceModelSwitch" value="true"/>
            <property name="duccAppName" value="workbench-backend"/>
            <property name="duccUri" value="ucc://xxx/v1/namespace/workbench_backend/config/default/profiles/test"/>
            <property name="duccMonitorKey" value="sqlReplaceConfig"/>
        </plugin>
    </plugins>
</configuration>

發(fā)現(xiàn)慢sql

ducc配置

線上sql被動態(tài)替換

注意：功能正式修復(fù)后，需去掉該配置，該功能僅供應(yīng)急處理線上問題，不建議作為功能長期使用

性能測試

測試環(huán)境千次普通sql查詢，每種場景進(jìn)行了5次測試

未啟用插件耗時：11108ms，10237ms，9482ms，7938ms，8196ms

開啟sql分析耗時：16619ms，17333ms，16321ms，19057ms，18164ms

實際配置，只有首次執(zhí)行或者間隔時間執(zhí)行，單次影響10ms左右）

開啟sql替換耗時：10642ms，8803ms，8353ms，8830ms，9170ms

基本無影響

適用場景

1、慢sql預(yù)防

2、線上問題止損

優(yōu)勢

1、核心優(yōu)勢：執(zhí)行時分析sql，區(qū)別于傳統(tǒng)的依賴sql執(zhí)行耗時來評估慢sql，直接基于語法和索引進(jìn)行前置分析，不僅能預(yù)防某些壞sql在上線后發(fā)現(xiàn)是慢sql，還能給出sql優(yōu)化建議，可以大限度的避免線上產(chǎn)生慢sql。支持動態(tài)對線上sql進(jìn)行替換，可以對線上問題快速止損。

2、性能：基于性能和不同的使用場景考慮，支持定制化配置，每個sql是否僅進(jìn)行一次檢查、或者按某個時間間隔進(jìn)行配置。sql替換幾乎無損耗。

3、擴展：基于后續(xù)sql評分規(guī)則的擴展、以及分析結(jié)果以不同的方式輸出的考慮，支持評分規(guī)則、輸出方式的自定義擴展。

4、成本：接入成本低，無代碼侵入。

總結(jié)

到此這篇關(guān)于慢sql提前分析預(yù)警和動態(tài)sql替換-Mybatis-SQL的文章就介紹到這了,更多相關(guān)Mybatis-SQL分析預(yù)警慢sql內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論