MYSQL主庫切換binlog模式后主從同步錯(cuò)誤的解決方案
在使用FlinkSQL的mysql-cdc連接器來監(jiān)聽MySQL數(shù)據(jù)庫時(shí),通常需要將MySQL的binlog模式設(shè)置為ROW模式。然而,在實(shí)際項(xiàng)目中,可能會(huì)遇到如下問題:
當(dāng)我們將MySQL主庫的binlog模式從STATEMENT切換為ROW并重啟MySQL服務(wù)后,MySQL從庫在同步時(shí)可能會(huì)報(bào)錯(cuò),錯(cuò)誤信息如下:
Could not execute Update_rows event on table ddz.ddz_mlfl; Can't find record in 'ddz_mlfl', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log ddzmysql-bin.002729, end_log_pos 801362189
這個(gè)錯(cuò)誤表示在執(zhí)行Update_rows事件時(shí),找不到目標(biāo)記錄,具體錯(cuò)誤代碼為1032,對應(yīng)的處理器錯(cuò)誤為HA_ERR_KEY_NOT_FOUND。這是因?yàn)樵谇袚Qbinlog模式后,主從庫之間的數(shù)據(jù)可能不一致。
錯(cuò)誤原因分析
MySQL主庫的binlog模式分為STATEMENT、ROW和MIXED三種:
- STATEMENT模式:記錄的是每一條SQL語句。
- ROW模式:記錄的是每一行數(shù)據(jù)的變更。
- MIXED模式:結(jié)合了STATEMENT和ROW模式,通常根據(jù)具體情況自動(dòng)選擇。
在從STATEMENT模式切換到ROW模式時(shí),可能會(huì)因?yàn)橐韵略驅(qū)е聫膸焱绞。?/p>
- 數(shù)據(jù)不一致:在切換binlog模式并重啟主庫后,主庫和從庫之間可能存在數(shù)據(jù)不一致的情況。ROW模式下,每一行的變化都會(huì)記錄在binlog中,而STATEMENT模式下則只記錄SQL語句的執(zhí)行。因此,切換模式后,從庫在應(yīng)用ROW格式的binlog事件時(shí),可能找不到相應(yīng)的記錄。
- 日志不一致:STATEMENT模式和ROW模式記錄的日志格式不同,切換模式后可能會(huì)導(dǎo)致日志解析錯(cuò)誤。
- 從庫延遲:從庫在同步主庫的數(shù)據(jù)時(shí),可能會(huì)出現(xiàn)延遲。如果在切換模式的過程中,主庫進(jìn)行了大量數(shù)據(jù)修改操作,從庫未能及時(shí)同步,導(dǎo)致數(shù)據(jù)不一致。
- 應(yīng)用binlog事件失敗:從庫在應(yīng)用ROW格式的binlog事件時(shí),可能因?yàn)槟承┰颍ㄈ缰麈I沖突、索引問題等)而無法正確應(yīng)用,從而導(dǎo)致找不到記錄的錯(cuò)誤。
解決方案
為了解決上述問題,可以按照以下步驟操作:
1. 確保主從庫數(shù)據(jù)一致
在切換binlog模式之前,確保主從庫數(shù)據(jù)完全一致,可以通過以下方式操作:
- 停止寫操作:在切換模式前,停止所有寫操作,確保數(shù)據(jù)不再變化。
- 完全同步:確保主庫的所有數(shù)據(jù)已經(jīng)完全同步到從庫,執(zhí)行以下命令檢查同步狀態(tài):
SHOW SLAVE STATUS;
2. 切換binlog模式
在確保數(shù)據(jù)一致后,按照以下步驟切換binlog模式:
停止從庫同步:
STOP SLAVE;
切換主庫binlog模式:
SET GLOBAL binlog_format = 'ROW';
重啟MySQL主庫,以確保配置生效:
service mysql restart
啟動(dòng)從庫同步:
START SLAVE;
3. 重建從庫
如果在切換模式后依然報(bào)錯(cuò),建議重建從庫:
停止從庫:
STOP SLAVE;
重新備份主庫數(shù)據(jù),并導(dǎo)入到從庫:
mysqldump -u root -p --all-databases --single-transaction --master-data > backup.sql mysql -u root -p < backup.sql
重新配置從庫同步,確保從庫的master_log_file
和master_log_pos
與主庫一致:
CHANGE MASTER TO MASTER_HOST='master_ip', MASTER_USER='replication_user', MASTER_PASSWORD='replication_user_password', MASTER_LOG_FILE='recorded_log_file', MASTER_LOG_POS=recorded_log_position; START SLAVE;
4. 跳過異常錯(cuò)誤
跳過報(bào)錯(cuò)是以上方法都解決不了不得已使用的。
跳過指定錯(cuò)誤代碼在從服務(wù)器,編輯 /etc/my.cnf:
[mysqld] slave-skip-errors=1032,1033
跳過所有錯(cuò)誤在從服務(wù)器,編輯 /etc/my.cnf:
[mysqld] slave-skip-errors=all
重啟mysql從庫服務(wù)
service mysqld restart
總結(jié)
在使用FlinkSQL的mysql-cdc連接器監(jiān)聽MySQL數(shù)據(jù)庫時(shí),確保binlog模式為ROW是必要的。但在切換binlog模式時(shí),需要特別注意主從庫的數(shù)據(jù)一致性和同步狀態(tài)。
以上就是MYSQL主庫切換binlog模式后主從同步錯(cuò)誤的解決方案的詳細(xì)內(nèi)容,更多關(guān)于MYSQL切換binlog主從同步錯(cuò)誤的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Mysql桌面工具之SQLyog資源及激活使用方法告別黑白命令行
這篇文章主要介紹了Mysql桌面工具之SQLyog資源及激活使用方法告別黑白命令行,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-02-02mysql性能優(yōu)化工具--tuner-primer使用介紹
這篇文章主要介紹了mysql性能優(yōu)化工具--tuner-primer的使用方法與返回?cái)?shù)據(jù)分析,需要的朋友可以參考下2016-05-05