1. 什么是GTID

從MySQL 5.6.5 開始新增了一種基于 GTID 的復(fù)制方式。GTID (Global Transaction ID)是全局事務(wù)ID，由主庫上生成的與事務(wù)綁定的唯一標(biāo)識(shí)，這個(gè)標(biāo)識(shí)不僅在主庫上是唯一的，在MySQL復(fù)制環(huán)境內(nèi)也是唯一的。

2. GTID格式及含義

GTID = source_uuid:transaction_id

source_uuid是發(fā)起事務(wù)服務(wù)器的server_uuid，是一個(gè)MySQL實(shí)例的唯一標(biāo)識(shí)，可以通過show variables like 'server_uuid'查看。transaction_id代表了該實(shí)例上已經(jīng)提交的事務(wù)數(shù)量，是一個(gè)單調(diào)遞增的序列號(hào)，從1開始，1-2代表第二個(gè)事務(wù)；第1-n代表n個(gè)事務(wù)。

GTID復(fù)制拓?fù)渲?，無論事務(wù)被復(fù)制了多少次，事務(wù)的GTID都保持不變。一旦某個(gè)事務(wù)在服務(wù)器上提交后，后續(xù)所有相同GTID的事務(wù)都會(huì)被忽略，這種機(jī)制可以有效避免重復(fù)復(fù)制的現(xiàn)象，保持?jǐn)?shù)據(jù)一致。

示例1：7a7f2A47-71CA-11E1-9E33-00163e429562:1含義： 7a7f2A47-71CA-11E1-9E33-00163e429562 是這個(gè)節(jié)點(diǎn)的server_uuid，1為這個(gè)節(jié)點(diǎn)上提交的第1個(gè)事務(wù)的事務(wù)號(hào)，如果提交了10個(gè)事務(wù)，GTID會(huì)是： 7a7f2A47-71CA-11E1-9E33-00163e429562:1-10

【如果有多個(gè)范圍要表示，則事務(wù)編號(hào)的范圍可以用冒號(hào)分隔】
示例2：7a7f2A47-71CA-11E1-9E33-00163e429562:1-3:11:47-49含義：執(zhí)行了源自7a7f2A47-71CA-11E1-9E33-00163e429562服務(wù)器的第1-3個(gè)事務(wù)、第11個(gè)事務(wù)、第47-49個(gè)事務(wù)

【GTID集還能表示來自不同數(shù)據(jù)源的事務(wù)集】
示例3：7a7f2A47-71CA-11E1-9E33-00163e429562:1-77439,82b6d927-81cc-11ee-9edf-00163e202091:1-98191含義：執(zhí)行了源自7a7f2A47-71CA-11E1-9E33-00163e429562服務(wù)器的第1-77439個(gè)事務(wù)和源自82b6d927-81cc-11ee-9edf-00163e202091服務(wù)器的第1-98191個(gè)事務(wù)

MySQL 8.3 創(chuàng)新版于 2024 年 1 月 16 號(hào)發(fā)布，該版本擴(kuò)展了 MySQL
復(fù)制和組復(fù)制中使用全局事務(wù)標(biāo)識(shí)（GTID）的格式，支持給 GTID 打標(biāo)簽，以支持識(shí)別事務(wù)組。此增強(qiáng)功能可以為特定事務(wù)組的 GTID
分配唯一標(biāo)識(shí)。例如：包含數(shù)據(jù)操作的事務(wù)可以很容易地與管理操作產(chǎn)生的事務(wù)區(qū)分開來，只需要比較他們的 GTID。
帶標(biāo)簽的格式擴(kuò)展后的 GTID 格式是 source_id:<tag>:transaction_id，其中 tag 是最長為 8 個(gè)字符的任意字符串。通過設(shè)置系統(tǒng)變量 gtid_next 的值為 automatic: 啟用，或者設(shè)置 gtid_next 為 uuid::transaction_id 以將單個(gè)事務(wù)的 uuid 設(shè)置為任意值，并為其分配自定義標(biāo)簽。

3. GTID相關(guān)參數(shù)

查看關(guān)于gtid的系統(tǒng)參數(shù)：

mysql> show variables like '%gtid%';
+-----------------------------------+-----------------------------------------------+
| Variable_name                     | Value                                         |
+-----------------------------------+-----------------------------------------------+
| binlog_gtid_simple_recovery       | ON                                            |
| enforce_gtid_consistency          | ON                                            |
| gtid_executed                     | be423c64-90c8-11ed-bf93-00163e0fcdea:1-1169392|
| gtid_executed_compression_period  | 1000                                          |
| gtid_mode                         | ON                                            |
| gtid_next                         | AUTOMATIC                                     |
| gtid_owned                        |                                               |
| gtid_purged                       | be423c64-90c8-11ed-bf93-00163e0fcdea:1-1137671|
| session_track_gtids               | OFF                                           |
+-----------------------------------+-----------------------------------------------+
9 row in set (0.00 sec)

3.1 gtid_mode

【作用】控制是否開啟GTID模式的日志記錄及日志內(nèi)可以包含的事務(wù)類型
【可選值】

• OFF：禁用GTID主從復(fù)制，新增和復(fù)制的事務(wù)都必須是匿名事務(wù)。
• ON：啟用GTID主從復(fù)制，但不會(huì)自動(dòng)創(chuàng)建GTID集。新增和復(fù)制的事務(wù)都必須是GTID事務(wù)。
• ON_PERMISSIVE：啟用GTID主從復(fù)制，并允許從庫自動(dòng)創(chuàng)建GTID集。新增的事務(wù)是GTID事務(wù)，復(fù)制的事務(wù)可以是匿名事務(wù)或GTID事務(wù)。（這個(gè)選項(xiàng)在標(biāo)準(zhǔn)的MySQL版本中并不直接支持）
• ON_ENFORCING：啟用GTID主從復(fù)制，并要求從庫手動(dòng)創(chuàng)建GTID集。

3.2 enforce_gtid_consistency

【作用】指定從庫執(zhí)行事務(wù)時(shí)的一致性要求，控制SQL語句是否僅允許違反GTID一致性
【可選值】

• OFF：不要求從庫執(zhí)行事務(wù)時(shí)的一致性要求。
• ON：要求從庫執(zhí)行事務(wù)時(shí)的一致性要求。（通常設(shè)置為ON以確保一致性）
• WARN：允許違反GTID一致性，但是會(huì)生成告警信息。

開啟該參數(shù)服務(wù)器僅允許GTID安全的語句執(zhí)行，防止某些不安全的語句導(dǎo)致GTID復(fù)制失敗。在啟用GTID模式復(fù)制前，必須設(shè)置為true。當(dāng)設(shè)置為true以后，以下操作將不再可用：

• create table … select語句（MySQL8.0.21后，如果引擎支持原子DDL，可以使用此語句）。
• 事務(wù)內(nèi)的create temporary table和drop temporary table。
• 同時(shí)更新事務(wù)表和非事務(wù)表的事務(wù)或語句。

enforce_gtid_consistency驗(yàn)證語句的GTID兼容性是在寫二進(jìn)制日志的時(shí)候，如果在服務(wù)器上禁用了二進(jìn)制日志或過濾器刪除了語句而未寫入二進(jìn)制日志，都不會(huì)檢查。

3.3 gtid_executed

全局變量（@@global.gtid_executed），包含服務(wù)器執(zhí)行的所有事務(wù)的GTID集和gtid_purged被設(shè)置的變量。
@@global.gtid_executed和show master status或show slave status語句輸出executed_gtid_set字段的值相同。
當(dāng)服務(wù)器啟動(dòng)時(shí)，會(huì)根據(jù)binlog_gtid_simple_reocovery參數(shù)選擇不同的方法初始化其值。

3.4 gtid_next

gtid_next是會(huì)話級變量，代表下一個(gè)事務(wù)即將分配的GTID。當(dāng)事務(wù)在主庫提交時(shí)，系統(tǒng)會(huì)自動(dòng)分配一個(gè)新的GTID，當(dāng)事務(wù)復(fù)制到從庫時(shí)，會(huì)保留主庫分配的GTID，而不是由從庫分配新的GTID。GTID可以設(shè)置為下列值：

• automatic：系統(tǒng)為事務(wù)自動(dòng)生成GTID

• anonymous：事務(wù)沒有GTID（匿名事務(wù)），只能通過文件名和偏移量定位

• UUID:NUMBER：明確設(shè)定一個(gè)有效的GTID，下一個(gè)事務(wù)將分配這個(gè)GTID。

此參數(shù)的功能還受到gtid_mode參數(shù)的影響，如果gtid_mode設(shè)置為OFF（只有匿名事務(wù)），那么此參數(shù)無效。

【注意】如果用SERVER_UUID:TRANSACTION_NUMBER手動(dòng)為事務(wù)分配了GTID，無論事務(wù)提交或回滾，在開啟下一個(gè)事務(wù)前，必須再次手動(dòng)設(shè)置gtid_next的值或設(shè)置為automatic。

3.5 gtid_purged

gtid_purged是全局變量，代表所有在服務(wù)器上已提交，但是不在二進(jìn)制日志中的事務(wù)的GTID集。gtid_purged是gtid_exeucted的子集。

gtid_purged中的GTID包含下列類別：

• 從庫禁用binarylog，則提交后的事務(wù)GTID也會(huì)加入gtid_purged。
• 從庫啟用binarylog，事務(wù)也寫入二進(jìn)制日志，但是日志文件被purged（刪除）掉了。
• 通過set @@global.gtid_purged 語句顯示加入到集合中。

gtid_purged和gtid_executed一樣，會(huì)在服務(wù)器啟動(dòng)或重啟時(shí)根據(jù)binlog_gtid_simple_reocovery參數(shù)選擇不同的方法初始化其值。

如果要求過濾某些事務(wù)，可以手動(dòng)設(shè)置gtid_purged值，這些值會(huì)被加入gtid_executed，即使這些事務(wù)從未執(zhí)行。
gtid_purged設(shè)置方式有2種：

• SET @@global.gtid_purged = 'gtid_set' – 替換

• SET @@global.gtid_purged = '+gtid_set' – 追加

binlog_gtid_simple_reocovery控制MySQL啟動(dòng)或重啟時(shí)如何檢索二進(jìn)制日志來計(jì)算gtid_executed和gtid_purged變量的初始值。當(dāng)binlog_gtid_simple_recovery=true時(shí)，只讀取最舊和最新的binlog文件，否則遍歷所有binlog文件。

3.6 gtid_owned

表示當(dāng)前正在執(zhí)行的事務(wù)的gtid。全局或會(huì)話級只讀變量，通常只內(nèi)部使用（其輸出可能對于普通用戶來說不是非常直觀），幫助MySQL管理和跟蹤當(dāng)前正在處理的事務(wù)。

• 全局級：包含服務(wù)器正在使用的所有GTID列表和對應(yīng)的Thread ID。
• 會(huì)話級：包含會(huì)話當(dāng)前正在使用的單個(gè)GTID。

由于它是全局和會(huì)話級別的，其顯示的內(nèi)容可能會(huì)根據(jù)當(dāng)前的會(huì)話和全局狀態(tài)而有所不同。

3.7 gtid_executed_compression_period

控制壓縮mysql.gtid_executed表的事務(wù)閾值數(shù)量。

mysql> show variables like 'gtid_executed_compression_period';
+-----------------------------------+---------+
| Variable_name                     | Value   |
+-----------------------------------+---------+
| gtid_executed_compression_period  | 1000    |
+-----------------------------------+---------+
1 row in set (0.00 sec)

該參數(shù)默認(rèn)值為1000，指在每執(zhí)行1000次事務(wù)后執(zhí)行g(shù)tid_executed表的壓縮，方法是將source_id一樣的事務(wù)進(jìn)行合并（僅二進(jìn)制日志未開啟時(shí)生效）。二進(jìn)制日志開啟時(shí)，此參數(shù)無效，只有在二進(jìn)制日志輪換時(shí)才進(jìn)行壓縮。

3.8 binlog_gtid_simple_recovery

binlog_gtid_simple_recovery 是MySQL中一個(gè)重要的系統(tǒng)變量，它用于控制在MySQL啟動(dòng)或重啟時(shí)，如何遍歷二進(jìn)制日志文件（binlog）以尋找全局事務(wù)標(biāo)識(shí)符（GTID）。這個(gè)變量對于使用GTID進(jìn)行復(fù)制的環(huán)境尤為重要，因?yàn)樗绊懥薓ySQL如何初始化和驗(yàn)證GTID集合。

【版本引入】在MySQL 5.7.5版本中，這個(gè)變量以simplified_binlog_gtid_recovery的形式被引入；從MySQL 5.7.6版本開始，它被重命名為binlog_gtid_simple_recovery。

• 當(dāng) binlog_gtid_simple_recovery=FALSE 時(shí)：

• gtid_executed的初始化：MySQL會(huì)從最新的binlog文件開始，逆向遍歷到第一個(gè)包含Previous_gtids_log_event或Gtid_log_event的文件。從該文件中讀取所有的GTID，并存儲(chǔ)在內(nèi)部變量中，然后計(jì)算gtid_executed的值。
• gtid_purged的初始化：MySQL會(huì)從最早的binlog文件開始，正向遍歷到第一個(gè)包含非空的Previous_gtids_log_event或至少一個(gè)Gtid_log_event的文件。根據(jù)這些事件計(jì)算gtid_purged的值。
• 【性能影響】：如果binlog文件數(shù)量很大且沒有GTID事件，這個(gè)過程可能會(huì)非常耗時(shí)。

• 當(dāng) binlog_gtid_simple_recovery=TRUE 時(shí)（MySQL 5.7.7及以后版本的默認(rèn)值）：
  gtid_executed和gtid_purged的初始化：MySQL只遍歷最新的和最早的binlog文件，并根據(jù)這些文件中的Previous_gtids_log_event或Gtid_log_event來計(jì)算gtid_executed和gtid_purged的值。
  【性能優(yōu)勢】：這種方法顯著減少了遍歷binlog文件的數(shù)量，從而提高了MySQL啟動(dòng)和重啟時(shí)的性能。

3.9 session_track_gtids

session_track_gtids 是 MySQL 中的一個(gè)系統(tǒng)變量，用于控制 MySQL 會(huì)話（session）中是否追蹤全局事務(wù)標(biāo)識(shí)符（GTID）的狀態(tài)。這個(gè)變量對于使用 GTID 進(jìn)行復(fù)制和讀寫分離的 MySQL 環(huán)境尤為重要，因?yàn)樗梢詭椭_保數(shù)據(jù)的一致性和準(zhǔn)確性。

【可選值】：

• OFF：默認(rèn)值，表示不追蹤 GTID。在這種模式下，MySQL 會(huì)話不會(huì)記錄與 GTID 相關(guān)的狀態(tài)信息。
• OWN_GTID：表示追蹤上次反饋后當(dāng)前會(huì)話所提交的所有新增 GTID。這個(gè)選項(xiàng)主要用于跟蹤會(huì)話內(nèi)部產(chǎn)生的 GTID，以便在需要時(shí)能夠準(zhǔn)確地識(shí)別出哪些 GTID 是由當(dāng)前會(huì)話產(chǎn)生的。
• ALL_GTIDS：表示直接返回 gtid_executed 系統(tǒng)變量的值，即在當(dāng)前會(huì)話事務(wù)完成提交后讀取所有已執(zhí)行的 GTID。這個(gè)選項(xiàng)提供了更全面的 GTID 追蹤能力，但可能會(huì)引入額外的性能開銷(由于需要讀取和記錄所有已執(zhí)行的 GTID，可能會(huì)增加額外的 CPU 和內(nèi)存開銷)。

【配置建議】在大多數(shù)情況下，如果不需要進(jìn)行復(fù)雜的讀寫分離或數(shù)據(jù)一致性校驗(yàn)，可以保持其默認(rèn)值 OFF 以減少性能開銷。如果需要這些功能，則可以根據(jù)實(shí)際情況選擇 OWN_GTID 或 ALL_GTIDS。

3.10 其他相關(guān)參數(shù)

雖然不直接與GTID的配置相關(guān)，但以下參數(shù)在配置GTID主從復(fù)制時(shí)也非常重要：

• server-id：指定MySQL服務(wù)器的唯一ID號(hào)，每個(gè)MySQL服務(wù)器（包括主庫和從庫）都必須擁有不同的ID號(hào)。
• log-bin：啟用二進(jìn)制日志功能，這是MySQL主從復(fù)制的基礎(chǔ)。
• binlog_format：指定二進(jìn)制日志的格式，對于GTID主從復(fù)制，通常設(shè)置為ROW以記錄行級別的更改操作。

4. GTID生命周期

4.1 GTID的生成與分配

• 事務(wù)提交與GTID分配：當(dāng)一個(gè)事務(wù)在主庫上執(zhí)行并提交時(shí)，MySQL會(huì)自動(dòng)為該事務(wù)分配一個(gè)GTID。
• 寫入二進(jìn)制日志：分配GTID后，該GTID會(huì)在事務(wù)提交時(shí)以Gtid_log_event事件的形式（將GTID和事務(wù)本身）寫入主庫的二進(jìn)制日志文件中。
  這是一個(gè)原子操作保證GTID和事務(wù)內(nèi)容同時(shí)寫入日志。

4.2 2. GTID的持久化與記錄

事務(wù)提交后很短的時(shí)間內(nèi)，將GTID寫入@@global.gtid_executed狀態(tài)變量。此變量包含了所有已執(zhí)行的事務(wù)，代表了主庫的當(dāng)前狀態(tài)。

• 寫入mysql.gtid_executed表：當(dāng)二進(jìn)制日志發(fā)生切換或MySQL服務(wù)器關(guān)閉時(shí)，所有已寫入二進(jìn)制日志的GTID會(huì)被寫入到mysql.gtid_executed表中，以實(shí)現(xiàn)GTID的持久化。
• 更新GLOBAL.gtid_executed系統(tǒng)變量：在事務(wù)提交時(shí)，MySQL還會(huì)將該GTID加入到@@GLOBAL.gtid_executed系統(tǒng)變量中。這個(gè)變量是一個(gè)GTID集合，代表了目前為止所有被執(zhí)行過的事務(wù)。

4.3 GTID的傳輸與應(yīng)用

• 傳輸?shù)綇膸?/strong>：在主從復(fù)制過程中，包含GTID的二進(jìn)制日志會(huì)被傳輸?shù)綇膸?，并存?chǔ)在從庫的中繼日志(relay log)中。
• 從庫應(yīng)用GTID事務(wù)：從庫讀取relay日志中的GTID，并將其gtid_next變量設(shè)置為該GTID，表示從庫下一個(gè)即將執(zhí)行的事務(wù)。然后，從庫執(zhí)行該GTID對應(yīng)的事務(wù)，執(zhí)行前會(huì)先進(jìn)行檢查，保證此GTID沒有被執(zhí)行，且當(dāng)前的沒有其他會(huì)話讀取此GTID。
  如果有多個(gè)會(huì)話讀取了此GTID，只有1個(gè)可以執(zhí)行，其他的都會(huì)阻塞。從庫的gtid_owned系統(tǒng)變量@@global.gtid_owned顯示當(dāng)前正在使用的GTID以及擁有它的線程ID。如果已經(jīng)使用了該GTID，通過自動(dòng)跳過功能忽略該事務(wù)，并且不會(huì)引發(fā)錯(cuò)誤。
  如果此GITD未執(zhí)行過，從庫應(yīng)用此事務(wù)，并使用主庫生成的GTID，不會(huì)重新分配。
• 從庫記錄GTID：如果從庫啟用了二進(jìn)制日志功能，它也會(huì)通過gtid_log_event原子事件將該GTID寫入到自己的二進(jìn)制日志文件中。如果未啟用，當(dāng)輪換日志或關(guān)閉服務(wù)器時(shí)，則GTID會(huì)被記錄在mysql.gtid_executed表中（開啟二進(jìn)制日志時(shí)mysql.gtid_executed不代表服務(wù)器的最新狀態(tài)）。
  從庫提交后很短的時(shí)間內(nèi)，將GTID寫入從庫@@global.gtid_executed狀態(tài)變量(建議始終查詢@@global.gtid_executed來查看服務(wù)器的狀態(tài))

CHANGE MASTER TO 
MASTER_HOST='master_host_name', 
MASTER_USER='replication_user_name', 
MASTER_PASSWORD='replication_password', 
MASTER_AUTO_POSITION = 1;

STOP SLAVE;
CHANGE MASTER TO 
MASTER_AUTO_POSITION = 1;
START SLAVE;

+------------------+-------------+------+-------+------------+-----------+
| Field            | Type        | Null | Key   | Default    | Extra     |
+------------------+-------------+------+-------+------------+-----------+
| source_uuid      | char(36)    | NO   | PRI   | NULL       |           |
+------------------+-------------+------+-------+------------+-----------+
| interval_start   | bigint      | NO   | PRI   | NULL       |           |
+------------------+-------------+------+-------+------------+-----------+
| interval_end     | bigint      | NO   |       | NULL       |           |
+------------------+-------------+------+-------+------------+-----------+
3 rows in set (0.00 sec)

mysql> show variables like 'slave_net_timeout';
+-------------------+---------+
| Variable_name     | Value   |
+-------------------+---------+
| slave_net_timeout | 10      |
+-------------------+---------+
1 row in set (0.00 sec)