詳解GaussDB for MySQL性能優(yōu)化
背景
我們先來(lái)看看MySQL 8.0的事務(wù)提交的大致流程
以上流程,是MySQL8.0對(duì)WAL原則的一種實(shí)現(xiàn),這個(gè)流程意味著,任何一個(gè)事務(wù)的提交,一定要完成write buffer和flush to disk流程。
然而那么這個(gè)流程中,有一個(gè)問(wèn)題:每個(gè)服務(wù)器的CPU是有限的,服務(wù)器能處理的Thread也是有上限的,那么當(dāng)我們的業(yè)務(wù)的并發(fā)數(shù)量,遠(yuǎn)遠(yuǎn)大于我們服務(wù)器能并行處理的數(shù)量時(shí),那么后來(lái)的事務(wù),只能等待前面的事務(wù)提交后才能被處理。在這之前,他們什么也做不了。因此,在大并發(fā)場(chǎng)景下,如何進(jìn)一步提升線(xiàn)程的使用率,是大并發(fā)事物寫(xiě)入的一個(gè)關(guān)鍵。
靈感來(lái)源于生活
一個(gè)優(yōu)化,并不是憑空想象出來(lái)的,有時(shí)候,往往來(lái)源于現(xiàn)實(shí)生活。下面,我們先來(lái)看看我們身邊,和事務(wù)提交流程非常類(lèi)似的一個(gè)例子:快遞。
現(xiàn)在的快遞配送,一般一個(gè)快遞員會(huì)負(fù)責(zé)一片區(qū)域,快遞剛開(kāi)始興起時(shí),數(shù)量不多,那么一個(gè)快遞員基本上可以在規(guī)定時(shí)間內(nèi)完成配送。
但是,隨著快遞數(shù)量越來(lái)越多,一個(gè)快遞員要在一個(gè)小區(qū)配送很長(zhǎng)的時(shí)間,才能到下一個(gè)小區(qū),常常導(dǎo)致了快遞員無(wú)法準(zhǔn)時(shí)的配送。在這個(gè)問(wèn)題的催動(dòng)下,隨后,一個(gè)新的行業(yè)開(kāi)始出現(xiàn) – 快遞驛站。
快遞的優(yōu)化原理
接下來(lái),讓我們來(lái)看下,快遞驛站究竟解決了什么問(wèn)題。
快遞的配送過(guò)程中,最耗時(shí)的,不是裝貨,不是卸貨,而是電話(huà)和等待。配送一個(gè)小區(qū)的時(shí)間,取決于這個(gè)最后一個(gè)來(lái)取快遞的人的時(shí)間,在最后一個(gè)人取完快遞錢(qián),快遞員除了打電話(huà),做不了其他任何事情(也沒(méi)有辦法通知下一個(gè)小區(qū)的人,因?yàn)樽詈笠粋€(gè)人來(lái)取得時(shí)間是無(wú)法確定的)。那么這個(gè)等待的時(shí)間,對(duì)于快遞員來(lái)說(shuō),就是一種浪費(fèi)。
快遞驛站可以很大程度解決這個(gè)問(wèn)題,快遞員到了以后,只需要將快遞卸貨,即可前往下一個(gè)小區(qū),剩下的事情,就可以由驛站的人員來(lái)完成,大大提升了快遞員的配送效率。
分析
回過(guò)頭來(lái),我們看看數(shù)據(jù)庫(kù),如果把Transaction線(xiàn)程看做快遞員,存儲(chǔ)上的文件看做取快遞的人,那么我們會(huì)發(fā)現(xiàn)兩者有非常大的相似性。那么我們可以像快遞配送優(yōu)化那樣去優(yōu)化事務(wù)的處理流程嗎?答案是可以的。
根據(jù)快遞驛站的優(yōu)化原理,我們知道,快遞驛站幫快遞員免去了等待客戶(hù)取貨的時(shí)間,那么事務(wù)處理過(guò)程中,有沒(méi)有等待的過(guò)程呢?答案是有的,存儲(chǔ)的IO就是一個(gè)較長(zhǎng)的等待。數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)豐富的開(kāi)發(fā)人員來(lái)都知道,等待redo日志寫(xiě)入存儲(chǔ)的磁盤(pán)IO性能,很大程度上決定了數(shù)據(jù)庫(kù)的寫(xiě)入性能。對(duì)于現(xiàn)代數(shù)據(jù)庫(kù)來(lái)說(shuō),尤其對(duì)于GaussDB(for MySQL)這樣計(jì)算于存儲(chǔ)分離的數(shù)據(jù)庫(kù),存儲(chǔ)的IO耗時(shí),在事務(wù)處理的總耗時(shí)中,占據(jù)了不小的比例,雖然有l(wèi)og buffer的合并寫(xiě)入,提升并發(fā)情況下的整體吞吐,但是如果在等待IO的這段時(shí)間中,這些線(xiàn)程能夠去做別的事情(例如處理等待中的其他事務(wù))。那么將會(huì)有進(jìn)一步的性能提升。
GaussDB(for MySQL)的優(yōu)化
既然找到了等待的點(diǎn),那么我們就可以像快遞配送的優(yōu)化方法,為數(shù)據(jù)庫(kù),也創(chuàng)造一個(gè)“快遞驛站”,讓“快遞驛站”來(lái)做等待的事情,而事務(wù)線(xiàn)程就可以去處理其他等待中的事務(wù),讓CPU不會(huì)“閑下來(lái)”。
如圖5所示,GaussDB(for MySQL)當(dāng)redo日志的flush to disk動(dòng)作完成后,即可進(jìn)行事務(wù)提交,但是此時(shí)并不應(yīng)答客戶(hù)端,而是直接處理下一個(gè)事務(wù)。同時(shí)使用少量”post comit worker線(xiàn)程”,來(lái)批量等待日志寫(xiě)入完成(等待的過(guò)程其實(shí)并不占用CPU),并應(yīng)答客戶(hù)端,這就可以讓“等待”和“下一個(gè)事務(wù)的處理”并行化,讓CPU“閑不下來(lái)”。
實(shí)際測(cè)試
根據(jù)實(shí)際測(cè)試,在標(biāo)準(zhǔn)的sysbench寫(xiě)入模型下,沒(méi)有使用Post Commit時(shí),極限性能是35萬(wàn)QPS左右,而使用Post commit后,可以到大42萬(wàn)以上的QPS,提升了20%的寫(xiě)入性能。
以上就是詳解GaussDB for MySQL性能優(yōu)化的詳細(xì)內(nèi)容,更多關(guān)于GaussDB for MySQL性能優(yōu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Mysql存儲(chǔ)過(guò)程循環(huán)內(nèi)嵌套使用游標(biāo)示例代碼
本節(jié)主要介紹了Mysql存儲(chǔ)過(guò)程循環(huán)內(nèi)如何嵌套使用游標(biāo),詳細(xì)實(shí)現(xiàn)如下,需要的朋友不要錯(cuò)過(guò)2014-08-08詳解使用navicat連接遠(yuǎn)程linux mysql數(shù)據(jù)庫(kù)出現(xiàn)10061未知故障
這篇文章主要介紹了navicat連接遠(yuǎn)程linux mysql數(shù)據(jù)庫(kù)出現(xiàn)10061未知故障,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04MySQL中實(shí)現(xiàn)分頁(yè)操作的實(shí)戰(zhàn)指南
MySQL的分頁(yè)似乎一直是個(gè)問(wèn)題,下面這篇文章主要給大家介紹了關(guān)于MySQL中實(shí)現(xiàn)分頁(yè)操作的相關(guān)資料,文中通過(guò)圖文以及實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08MySQL使用正則表達(dá)式去檢索指定數(shù)據(jù)庫(kù)字段
這篇文章主要介紹了MySQL使用正則表達(dá)式去檢索指定數(shù)據(jù)庫(kù)字段,文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-09-09通過(guò)實(shí)例判斷mysql update是否會(huì)鎖表
這篇文章主要介紹了通過(guò)實(shí)例判斷mysql update是否會(huì)鎖表,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09MySQL通過(guò)觸發(fā)器解決數(shù)據(jù)庫(kù)中表的行數(shù)限制詳解及實(shí)例
這篇文章主要介紹了MySQL通過(guò)觸發(fā)器解決數(shù)據(jù)庫(kù)中表的行數(shù)限制詳解及實(shí)例的相關(guān)資料,需要的朋友可以參考下2017-04-04Mysql數(shù)據(jù)庫(kù)定時(shí)備份腳本分享
這篇文章主要分享了Mysql數(shù)據(jù)庫(kù)的定時(shí)備份腳本,幫助大家更好的理解和使用MySQL數(shù)據(jù)庫(kù),感興趣的朋友可以了解下2020-09-09一文了解MySQL Optimizer Trace的神奇功能
這篇文章主要為大家介紹了一文了解MySQL Optimizer Trace的神奇功能詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-06-06