快捷導(dǎo)航

詳解go如何使用xorm在執(zhí)行前改寫(xiě)?SQL

更新時(shí)間：2023年06月08日 10:08:53 作者：LinkinStar

這篇文章主要為大家介紹了詳解go如何使用xorm在執(zhí)行前改寫(xiě)SQL的實(shí)現(xiàn)過(guò)程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

前言

有時(shí)候你需要再 SQL 執(zhí)行之前對(duì)于 SQL 語(yǔ)句進(jìn)行改寫(xiě)，有可能是修改表名字段名，有可能只是添加注釋，這些看起來(lái)奇怪的操作其實(shí)有時(shí)候是為了幫助在數(shù)據(jù)庫(kù)之前的 proxy 來(lái)實(shí)現(xiàn)某些功能，比如最常見(jiàn)的分庫(kù)分表，讀寫(xiě)分離，多租戶等等。

使用Hint語(yǔ)法

舉個(gè)具體的例子：

有些數(shù)據(jù)庫(kù)中間件支持在 SQL 語(yǔ)句之前添加注釋來(lái)實(shí)現(xiàn)讀寫(xiě)分離

如何在讀寫(xiě)模式為可讀可寫(xiě)（自動(dòng)讀寫(xiě)分離）的集群地址中使用Hint語(yǔ)法。

使用限制

僅讀寫(xiě)模式為可讀可寫(xiě)（自動(dòng)讀寫(xiě)分離）的集群地址支持Hint語(yǔ)法，只讀模式下的集群地址和主地址均不支持Hint語(yǔ)法。關(guān)于集群地址的讀寫(xiě)模式信息，請(qǐng)參見(jiàn)集群地址的讀寫(xiě)模式。

注意事項(xiàng)

Hint的路由優(yōu)化級(jí)別最高，不受一致性級(jí)別和事務(wù)拆分的約束，使用前請(qǐng)進(jìn)行評(píng)估。

使用方法

支持在SQL語(yǔ)句前加上/*FORCE_MASTER*/或/*FORCE_SLAVE*/強(qiáng)制指定這條SQL的路由方向。

例如select * from test默認(rèn)會(huì)路由到只讀節(jié)點(diǎn)，改為/*FORCE_MASTER*/ select * from test就會(huì)路由到主節(jié)點(diǎn)。

支持在SQL語(yǔ)句前加上/*force_node='<節(jié)點(diǎn)ID>'*/強(qiáng)制指定在某節(jié)點(diǎn)執(zhí)行某查詢命令。

例如/*force_node='pi-bpxxxxxxxx'*/ show processlist，該show processlist命令只在pi-bpxxxxxxxx節(jié)點(diǎn)執(zhí)行。如果該節(jié)點(diǎn)發(fā)生故障，則返回報(bào)錯(cuò)force hint server node is not found, please check.。

支持在SQL語(yǔ)句前加上/*force_proxy_internal*/set force_node = '<節(jié)點(diǎn)ID>'強(qiáng)制指定在某節(jié)點(diǎn)執(zhí)行所有查詢命令。

例如/*force_proxy_internal*/set force_node = 'pi-bpxxxxxxxx'，執(zhí)行該命令后，后續(xù)所有查詢命令只發(fā)往pi-bpxxxxxxxx節(jié)點(diǎn)，如果該節(jié)點(diǎn)發(fā)生故障，則返回報(bào)錯(cuò)set force node 'rr-bpxxxxx' is not found, please check.。

說(shuō)明

若您需要通過(guò)MySQL官方命令行執(zhí)行上述Hint語(yǔ)句，請(qǐng)?jiān)诿钚兄屑由?c參數(shù)，否則該Hint會(huì)被MySQL官方命令行過(guò)濾導(dǎo)致Hint失效，具體請(qǐng)參見(jiàn)MySQL官方命令行。
通常不建議使用/*force_proxy_internal*/語(yǔ)法，會(huì)導(dǎo)致后續(xù)所有查詢請(qǐng)求都發(fā)往該節(jié)點(diǎn)，讀寫(xiě)分離失效。
Hint語(yǔ)句里不要有改變環(huán)境變量的語(yǔ)句，例如/*FORCE_SLAVE*/ set names utf8; 等，這類語(yǔ)句可能導(dǎo)致后續(xù)的業(yè)務(wù)出錯(cuò)。

支持在SQL語(yǔ)句前加上/*FORCE_MASTER*/或/*FORCE_SLAVE*/強(qiáng)制指定這條SQL的路由方向

所以當(dāng)我們使用 orm 庫(kù)的時(shí)候，就需要有一個(gè)類似鉤子的東西，能在執(zhí)行之前想辦法將 sql 改寫(xiě)為所需要的樣子，這就是今天的需求。

嘗試過(guò)程

如果你只想知道如何使用，可跳過(guò)本段，直接去看最后的實(shí)現(xiàn)部分

一開(kāi)始我做了各種嘗試，由于 xorm 本身其實(shí)并沒(méi)有相關(guān)文檔說(shuō)明，尋找并嘗試了半天，雖然最后實(shí)現(xiàn)了，但是路徑比較曲折。

嘗試 1 ContextHook

最開(kāi)始我想到的就是肯定是 Hook，不錯(cuò)，如我所料，確實(shí)有 Hook，并且里面有執(zhí)行的 SQL，我非常高興，然后直接開(kāi)干。

// Hook represents a hook behaviour
type Hook interface {
    BeforeProcess(c *ContextHook) (context.Context, error)
    AfterProcess(c *ContextHook) error
}
// ContextHook represents a hook context
type ContextHook struct {
    start       time.Time
    Ctx         context.Context
    SQL         string        // log content or SQL
    Args        []interface{} // if it's a SQL, it's the arguments
    Result      sql.Result
    ExecuteTime time.Duration
    Err         error // SQL executed error
}

于是我直接實(shí)現(xiàn)了一個(gè)自定義的 Hook 然后使用 BeforeProcess 方法，在執(zhí)行 SQL 前，替換了 ContextHook 其中的 SQL

代碼非常簡(jiǎn)單，我就不展示了，然后調(diào)試了半天，發(fā)現(xiàn)打印的 SQL 已經(jīng)被改寫(xiě)了，但實(shí)際執(zhí)行卻還是原來(lái)的 SQL。

為什么？于是我去翻了源碼，發(fā)現(xiàn)，見(jiàn)鬼，這個(gè) ContextHook 里面的 SQL 僅僅是為了日志打印用的。也就是說(shuō)，這個(gè) Hook 其實(shí)目的很明確，就是為了打印日志和計(jì)算 SQL 執(zhí)行時(shí)間用的。

嘗試 2 Events

在嘗試 Event 之前我其實(shí)找了很多曲線救國(guó)的方式，但確實(shí)實(shí)現(xiàn)不了。然后我在文檔里面找到了 Events。
比如：BeforeUpdate() BeforeDelete() 等等。問(wèn)題是，Event 無(wú)法獲取到需要執(zhí)行的 SQL，事件僅能拿到需要執(zhí)行的條件，而還沒(méi)有解析成 SQL，所以這個(gè)方案也不行

嘗試 3 Filter

于是我翻遍了源碼，看看源碼之前到底有什么操作能幫助我來(lái)完成這件事，然后發(fā)現(xiàn)了 Filter

// Filter is an interface to filter SQL
type Filter interface {
    Do(sql string) string
}

Filter 原本的作用是幫助 dialect 去過(guò)濾一些特殊數(shù)據(jù)庫(kù)的特殊 SQL 來(lái)幫助 xorm 來(lái)適配各種類型的數(shù)據(jù)庫(kù)。我發(fā)現(xiàn)在 SQL 執(zhí)行之前，只有它能獲取到 SQL 并改寫(xiě)，并且改寫(xiě)后的 SQL 能被執(zhí)行。但，你從上面的接口也看到了，F(xiàn)ilter 除了 SQL，其他什么也沒(méi)有。于是我其實(shí)返回去嘗試了很多其他的解法，發(fā)現(xiàn)仍然無(wú)解，最后去官方倉(cāng)庫(kù)提交了 PR，將 context 信息傳遞了進(jìn)去，至此，就有了后面的實(shí)現(xiàn)。

實(shí)現(xiàn)

首先需要自定義 Dialect 和 Filter，因?yàn)?go 沒(méi)有繼承，所以使用組合的方式來(lái)實(shí)現(xiàn)多態(tài)，將原來(lái)的 dialects.Dialect 定義包裝，并重寫(xiě) Filters 方法用于獲取到我們自定義的 Filter。

注意，mysql 默認(rèn)是沒(méi)有 Filter 的，其他數(shù)據(jù)庫(kù)可能存在 Filter，可能需要將原來(lái)的拿過(guò)來(lái)并在末尾 append 一個(gè)自定義的 Filter。替換 SQL 就很簡(jiǎn)單了，你只需要按照你的需求，改寫(xiě) SQL 并返回就可以了。如果你和我一樣需要額外的信息，可以從 context 中獲取，比如傳遞用戶信息，或者 id，用于分庫(kù)分表或?qū)崿F(xiàn)多租戶等。

type MyDialect struct {
    dialects.Dialect
}
func (d *MyDialect) Filters() []dialects.Filter {
    return []dialects.Filter{&amp;MyFilter{}}
}
type MyFilter struct {
}
func (m *MyFilter) Do(ctx context.Context, sql string) string {
    return "/** 獲取信息，改寫(xiě)sql **/" + sql
}

然后 xorm 只有 NewEngineWithDialectAndDB 方法執(zhí)行自定義 Dialect ，所以用這個(gè)方法創(chuàng)建 Engine。并且使用 OpenDialect 方法將默認(rèn)原先 xorm 的 mysql 對(duì)應(yīng)的 Dialect 拿出來(lái)封裝成自己的。

driver := "mysql"
    connection := "root:root@tcp(127.0.0.1:3306)/test?charset=utf8mb4"
    dialect, err := dialects.OpenDialect(driver, connection)
    if err != nil {
        panic(err)
    }
    s := &MyDialect{Dialect: dialect}
    dbs, err := core.Open(driver, connection)
    if err != nil {
        panic(err)
    }
    engine, err := xorm.NewEngineWithDialectAndDB(driver, connection, s, dbs)
    if err != nil {
        panic(err)
    }

總結(jié)

其實(shí)總的實(shí)現(xiàn)并不難，但過(guò)程還是異常艱辛，不過(guò)好在后面的路都很順暢了，有了 SQL 你就可以解析它，比如解析需要操作的表名和操作語(yǔ)句，查詢走 A，插入走 B 等等。最后我碼住一些 Golang 的 MySQL proxy，或許你也需要。PS：目前我沒(méi)有使用以下的庫(kù)，僅僅是將抽離了下面的幾個(gè)庫(kù)里面的協(xié)議部分，偽造了 MySQL 服務(wù)來(lái)使用。