一文詳解MySQL?Binlog日志與主從復(fù)制
1. Binlog日志的介紹
Binlog是Binary log的縮寫(xiě),即二進(jìn)制日志。Binlog主要有三個(gè)作用:持久化時(shí)將隨機(jī)IO轉(zhuǎn)化為順序IO,主從復(fù)制以及數(shù)據(jù)恢復(fù)。本文重點(diǎn)主從復(fù)制相關(guān)的問(wèn)題。
Binlog日志由一個(gè)索引文件與很多日志文件組成,每個(gè)日志文件由魔數(shù)以及事件組成,每個(gè)日志文件都會(huì)以一個(gè)Rotate類(lèi)型的事件結(jié)束。
對(duì)于每個(gè)事件,都可以分為事件頭與事件體兩部分:
事件頭的結(jié)構(gòu)如下所示:
事件體的結(jié)構(gòu)包括固定大小與可變大小兩部分。
對(duì)于Binlog日志的格式,做簡(jiǎn)單的了解即可,感興趣的同學(xué)可以深入學(xué)習(xí)。
2. 主從復(fù)制
2.1 主從復(fù)制的流程
MySQL主從復(fù)制的流程大致如下:
- 主庫(kù)同步自己的Binlog日志給從庫(kù)
- 從庫(kù)的IO線(xiàn)程將Binlog日志內(nèi)容寫(xiě)入Relay Log
- 從庫(kù)的SQL線(xiàn)程取Relay Log并在數(shù)據(jù)庫(kù)中進(jìn)行回放
2.2 GTID
GTID是指全局事務(wù)標(biāo)志,用來(lái)標(biāo)記主從同步的情況。
master提交一個(gè)事務(wù)時(shí)會(huì)產(chǎn)生GTID,并且記錄在Binlog日志中。從庫(kù)的IO線(xiàn)程在讀取Binlog日志時(shí),會(huì)將其儲(chǔ)存在自己的Relaylog中,并且將這個(gè)值設(shè)置到gtid_next中,即下一個(gè)要讀取的GTID,從庫(kù)讀取這個(gè)gtid_next時(shí),會(huì)對(duì)比自己的Binlog日志中是否有這個(gè)GTID:
- 如果有這個(gè)記錄,說(shuō)明這個(gè)GTID的事務(wù)已經(jīng)執(zhí)行過(guò)了,可以忽略掉(冪等)。
- 如果沒(méi)有這個(gè)記錄,slave就會(huì)執(zhí)行該GTID事務(wù),并記錄到自己的Binlog日志中。
2.3 復(fù)制模型
- 異步復(fù)制:master 把Binlog日志推送給slave,master不需要等到slave是否成功更新數(shù)據(jù)到Relay log,主庫(kù)直接提交事務(wù)即可。這種模式犧牲了數(shù)據(jù)一致性。
- 同步復(fù)制:每次用戶(hù)操作時(shí),必須要保證Master和Slave都執(zhí)行成功才返回給用戶(hù)。
- 半同步復(fù)制:不要求Slave執(zhí)行成功,而是成功接收Master日志就可以通知Master返回。
2.4 MGR模式
分布式一致性算法Paxos。由至少3個(gè)或更多個(gè)節(jié)點(diǎn)共同組成一個(gè)數(shù)據(jù)庫(kù)集群,事務(wù)的提交必須經(jīng)過(guò)半數(shù)以上節(jié)點(diǎn)同意方可提交提供,支持多寫(xiě)模式。
MGR 是 share-nothing 的復(fù)制方案,基于分布式paxos協(xié)議實(shí)現(xiàn),每個(gè)實(shí)例都有獨(dú)立的完整數(shù)據(jù)副本,集群自動(dòng)檢查節(jié)點(diǎn)信息,做數(shù)據(jù)的同步。同時(shí)提供單主模式和多主模式,單主模式在主庫(kù)宕機(jī)后能夠自動(dòng)選主,所有寫(xiě)入都在主節(jié)點(diǎn)進(jìn)行,多主模式支持多節(jié)點(diǎn)寫(xiě)入。同時(shí)集群提供冗余的容錯(cuò)功能,保證集群大多數(shù)節(jié)點(diǎn)正常集群就可以正常提供服務(wù)。
2.5 并行回放
事務(wù)回放是從庫(kù)的SQL線(xiàn)程執(zhí)行Relay Log的過(guò)程,并行回放是為了提高這一過(guò)程的效率,將可以并行進(jìn)行的事務(wù)同時(shí)進(jìn)行。
- 基于邏輯時(shí)鐘的并行回放
因?yàn)镸ySQL本身事務(wù)具有ACID的特點(diǎn),所以從主庫(kù)同步到從庫(kù)的事務(wù),只要其執(zhí)行的邏輯時(shí)間上有重疊,那么這兩個(gè)事務(wù)就能安全的進(jìn)行并行回放。
- 基于writeSet的并行回放
使用一個(gè)HashMap保存一定時(shí)間內(nèi)針對(duì)某一塊數(shù)據(jù)區(qū)域的事務(wù)的集合。如果事務(wù)在同一組內(nèi)或者是邏輯時(shí)鐘有重疊,說(shuō)明沒(méi)有沖突,其他情況不能確定是否有沖突。
到此這篇關(guān)于一文詳解MySQL Binlog日志與主從復(fù)制的文章就介紹到這了,更多相關(guān)MySQL Binlog日志內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
mysql整數(shù)數(shù)據(jù)類(lèi)型深入解析
本篇文章是對(duì)mysql中的整數(shù)數(shù)據(jù)類(lèi)型進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06利用MySQL函數(shù)實(shí)現(xiàn)判斷視頻擴(kuò)展名的代碼
MySQL擁有強(qiáng)大的自定義函數(shù)功能,如下,我寫(xiě)了一個(gè)用MySQL函數(shù) 判斷視頻地址是否可以手機(jī)端播放2012-02-02MySQL 創(chuàng)建用戶(hù)、授權(quán)用戶(hù)、撤銷(xiāo)用戶(hù)權(quán)限、更改用戶(hù)密碼、刪除用戶(hù)(實(shí)用技巧)
這篇文章主要介紹了MySQL 創(chuàng)建用戶(hù)、授權(quán)用戶(hù)、撤銷(xiāo)用戶(hù)權(quán)限、更改用戶(hù)密碼、刪除用戶(hù)(實(shí)用技巧),需要的朋友可以參考下2017-03-03淺析一個(gè)MYSQL語(yǔ)法(在查詢(xún)中使用count)的兼容性問(wèn)題
本篇文章是對(duì)MYSQL語(yǔ)法(在查詢(xún)中使用count)的兼容性問(wèn)題進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-07-07通過(guò)SqlCmd執(zhí)行超大SQL文件的方法
這篇文章主要介紹了sql?server?與?mysql?中常用的SQL語(yǔ)句區(qū)別,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-12-12MySQL關(guān)聯(lián)查詢(xún)優(yōu)化實(shí)現(xiàn)方法詳解
在數(shù)據(jù)庫(kù)的設(shè)計(jì)中, 我們通常都是會(huì)有很多張表 , 通過(guò)表與表之間的關(guān)系建立我們想要的數(shù)據(jù)關(guān)系, 所以在多張表的前提下, 多表的關(guān)聯(lián)查詢(xún)就尤為重要,這篇文章主要介紹了MySQL關(guān)聯(lián)查詢(xún)優(yōu)化2022-11-11MySQL錯(cuò)誤Forcing close of thread的兩種解決方法
這篇文章主要介紹了MySQL錯(cuò)誤Forcing close of thread的兩種解決方法,需要的朋友可以參考下2014-11-11Mysql5.7.18版本(二進(jìn)制包安裝)自定義安裝路徑教程詳解
這篇文章主要介紹了Mysql5.7.18版本(二進(jìn)制包安裝)自定義安裝路徑教程詳解,需要的朋友可以參考下2017-07-07