mysql同步問(wèn)題之Slave延遲很大優(yōu)化方法
一般而言,slave相對(duì)master延遲較大,其根本原因就是slave上的復(fù)制線程沒(méi)辦法真正做到并發(fā)。簡(jiǎn)單說(shuō),在master上是并發(fā)模式(以InnoDB引擎為主)完成事務(wù)提交的,而在slave上,復(fù)制線程只有一個(gè)sql thread用于binlog的apply,所以難怪slave在高并發(fā)時(shí)會(huì)遠(yuǎn)落后master。
ORACLE MySQL 5.6版本開(kāi)始支持多線程復(fù)制,配置選項(xiàng) slave_parallel_workers 即可實(shí)現(xiàn)在slave上多線程并發(fā)復(fù)制。不過(guò),它只能支持一個(gè)實(shí)例下多個(gè) database 間的并發(fā)復(fù)制,并不能真正做到多表并發(fā)復(fù)制。因此在較大并發(fā)負(fù)載時(shí),slave還是沒(méi)有辦法及時(shí)追上master,需要想辦法進(jìn)行優(yōu)化。
另一個(gè)重要原因是,傳統(tǒng)的MySQL復(fù)制是異步(asynchronous)的,也就是說(shuō)在master提交完后,才在slave上再應(yīng)用一遍,并不是真正意義上的同步。哪怕是后來(lái)的Semi-sync Repication(半同步復(fù)制),也不是真同步,因?yàn)樗槐WC事務(wù)傳送到slave,但沒(méi)要求等到確認(rèn)事務(wù)提交成功。既然是異步,那肯定多少會(huì)有延遲。因此,嚴(yán)格意義上講,MySQL復(fù)制不能叫做MySQL同步(處女座的面試官有可能會(huì)在面試時(shí)把說(shuō)成MySQL同步的一律刷掉哦)。
另外,不少人的觀念里,slave相對(duì)沒(méi)那么重要,因此就不會(huì)提供和master相同配置級(jí)別的服務(wù)器。有的甚至不但使用更差的服務(wù)器,而且還在上面跑多實(shí)例。
綜合這兩個(gè)主要原因,slave想要盡可能及時(shí)跟上master的進(jìn)度,可以嘗試采用以下幾種方法:
1、采用MariaDB發(fā)行版,它實(shí)現(xiàn)了相對(duì)真正意義上的并行復(fù)制,其效果遠(yuǎn)比ORACLE MySQL好的很多。在我的場(chǎng)景中,采用MariaDB作為slave的實(shí)例,幾乎總是能及時(shí)跟上master。如果不想用這個(gè)版本的話,那就老實(shí)等待官方5.7大版本發(fā)布吧;
關(guān)于MariaDB的Parallel Replication具體請(qǐng)參考:Replication and Binary Log Server System Variables#slave_parallel_threads – MariaDB Knowledge Base
2、每個(gè)表都要顯式指定主鍵,如果沒(méi)有指定主鍵的話,會(huì)導(dǎo)致在row模式下,每次修改都要全表掃描,尤其是大表就非??膳铝?,延遲會(huì)更嚴(yán)重,甚至導(dǎo)致整個(gè)slave庫(kù)都被掛起,可參考案例:mysql主鍵的缺少導(dǎo)致備庫(kù)hang;
3、應(yīng)用程序端多做些事,讓MySQL端少做事,尤其是和IO相關(guān)的活動(dòng),例如:前端通過(guò)內(nèi)存CACHE或者本地寫(xiě)隊(duì)列等,合并多次讀寫(xiě)為一次,甚至消除一些寫(xiě)請(qǐng)求;
4、進(jìn)行合適的分庫(kù)、分表策略,減小單庫(kù)單表復(fù)制壓力,避免由于單庫(kù)單表的的壓力導(dǎo)致整個(gè)實(shí)例的復(fù)制延遲;
其他提高IOPS性能的幾種方法,根據(jù)效果優(yōu)劣,我做了個(gè)簡(jiǎn)單排序:
1、更換成SSD,或者PCIe SSD等IO設(shè)備,其IOPS能力的提升是普通15K SAS盤(pán)的數(shù)以百倍、萬(wàn)倍,甚至幾十萬(wàn)倍計(jì);
2、加大物理內(nèi)存,相應(yīng)提高InnoDB Buffer Pool大小,讓更多熱數(shù)據(jù)放在內(nèi)存中,降低發(fā)生物理IO的頻率;
3、調(diào)整文件系統(tǒng)為 XFS 或 ReiserFS,相比ext3可以極大程度提高IOPS能力。在高IOPS壓力下,相比ext4有更穩(wěn)健的IOPS表現(xiàn)(有人認(rèn)為 XFS 在特別的場(chǎng)景下會(huì)有很大的問(wèn)題,但我們除了剩余磁盤(pán)空間少于10%時(shí)引發(fā)丟數(shù)據(jù)外,其他的尚未遇到);
4、調(diào)整RAID級(jí)別為raid 1+0,它相比raid1、raid5等更能提高IOPS性能。如果已經(jīng)全部是SSD設(shè)備了,可以2塊盤(pán)做成RAID 1,或者多快盤(pán)做成RAID 5(并且可以設(shè)置全局熱備盤(pán),提高陣列容錯(cuò)性),甚至有些土豪用戶直接將多塊SSD盤(pán)組成RAID 50;
5、調(diào)整RAID的寫(xiě)cache策略為WB或FORCE WB,詳情請(qǐng)參考:常用PC服務(wù)器陣列卡、硬盤(pán)健康監(jiān)控 以及 PC服務(wù)器陣列卡管理簡(jiǎn)易手冊(cè);
6、調(diào)整內(nèi)核的io scheduler,優(yōu)先使用deadline,如果是SSD,則可以使用noop策略,相比默認(rèn)的cfq,個(gè)別情況下對(duì)IOPS的性能提升至少是數(shù)倍的。
其他更多方法,歡迎大家?guī)兔ρa(bǔ)充 :)
- 解決MySQL中的Slave延遲問(wèn)題的基本教程
- MySQL中slave監(jiān)控的延遲情況分析
- mysql 主從數(shù)據(jù)不一致,提示: Slave_SQL_Running: No 的解決方法
- 記一次MySQL Slave庫(kù)恢復(fù)實(shí)戰(zhàn)記錄
- Mysql主從數(shù)據(jù)庫(kù)(Master/Slave)同步配置與常見(jiàn)錯(cuò)誤
- MySQL中slave_exec_mode參數(shù)詳解
- MySQL5.6 數(shù)據(jù)庫(kù)主從同步安裝與配置詳解(Master/Slave)
- MySQL Slave 觸發(fā) oom-killer解決方法
- MySQL slave 延遲一列 外鍵檢查和自增加鎖
相關(guān)文章
MySQL表的創(chuàng)建及字段介紹(小白入門(mén)篇)
這篇文章主要為大家介紹了MySQL表的創(chuàng)建及字段介紹(小白入門(mén)篇),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05Centos7中MySQL數(shù)據(jù)庫(kù)使用mysqldump進(jìn)行每日自動(dòng)備份的編寫(xiě)
數(shù)據(jù)庫(kù)的備份,對(duì)于生產(chǎn)環(huán)境來(lái)說(shuō)尤為重要,數(shù)據(jù)庫(kù)的備份分為物理備份和邏輯備份。我們將使用mysqldump命令進(jìn)行數(shù)據(jù)備份。使用自動(dòng)任務(wù)進(jìn)行每日備份,下邊我們將使用mysqldump命令進(jìn)行數(shù)據(jù)備份,感興趣的朋友一起看看吧2021-07-07mysql 如何使用JSON_EXTRACT() 取json值
這篇文章主要介紹了mysql如何使用JSON_EXTRACT() 取json值的操作方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-07-07MYSQL數(shù)據(jù)庫(kù)如何設(shè)置主從同步
大家好,本篇文章主要講的是MYSQL數(shù)據(jù)庫(kù)如何設(shè)置主從同步,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下2022-01-01簡(jiǎn)單談?wù)凪ySQL優(yōu)化利器-慢查詢
分析MySQL語(yǔ)句查詢性能的方法除了使用 EXPLAIN 輸出執(zhí)行計(jì)劃,還可以讓MySQL記錄下查詢超過(guò)指定時(shí)間的語(yǔ)句,我們將超過(guò)指定時(shí)間的SQL語(yǔ)句查詢稱為“慢查詢”2017-01-01Mysql存儲(chǔ)引擎MyISAM的常見(jiàn)問(wèn)題(表?yè)p壞、無(wú)法訪問(wèn)、磁盤(pán)空間不足)
這篇文章主要介紹了Mysql存儲(chǔ)引擎MyISAM的常見(jiàn)問(wèn)題,針對(duì)表?yè)p壞、無(wú)法訪問(wèn)、磁盤(pán)空間不足等問(wèn)題進(jìn)行解決,感興趣的小伙伴們可以參考一下2016-05-05