基于python的mysql復(fù)制工具詳解
一 簡介
python-mysql-replication 是基于python實現(xiàn)的 MySQL復(fù)制協(xié)議工具,我們可以用它來解析binlog 獲取日志的insert,update,delete等事件 ,并基于此做其他業(yè)務(wù)需求。比如數(shù)據(jù)更改時失效緩存,監(jiān)聽dml事件通知下游業(yè)務(wù)方做對應(yīng)處理。
其項目信息
二 實踐
2.1 安裝配置
獲取源代碼
git clone http://www.github.com/noplay/python-mysql-replication
使用pip 安裝
pip install mysql-replication
權(quán)限: 可以直接使用復(fù)制賬號也可以使用其他賬號,但是該賬號必須 SELECT, REPLICATION SLAVE, REPLICATION CLIENT 權(quán)限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'replicator'@'%' IDENTIFIED BY 'xxxxx';
數(shù)據(jù)庫日志相關(guān)的參數(shù)設(shè)置如下:
log_bin=on ,binlog_format=row,binlog_row_image=FULL
2.2 核心類介紹
python-mysql-replication
的入口是類BinLogStreamReader(),我們在使用該工具時需要實例化一個BinLogStreamReader()對象 stream, BinLogStreamReader 通過 ReportSlave 向主庫注冊作為一個slave角色,用于接受MySQL的binlog廣播 。有興趣的可以研究其代碼具體實現(xiàn)。
該實例提供解析 binlog 各種事件的集合,每個事件也是一個對象。
初始化BinLogStreamReader()實例需要使用的參數(shù)如下:
2.3 如何使用呢?
最簡單的用法 腳本名 pyreplica.py
開啟兩個窗口,一個窗口執(zhí)行,另外一個窗口操作mysql 寫入或者修改數(shù)據(jù)
python pyreplica.py
輸出如下:
2.3 拓展
基于該工具提供的日志事件解析我們可以做很多事情,比較有名的工具 binlog2sql 利用該工具解析binlog 做數(shù)據(jù)回滾 。
mysql-replication.py
執(zhí)行腳本結(jié)果 如下圖
除了解析binlog,我們還可以用python-mysql-replication
做數(shù)據(jù)全量加增量遷移。比如僅僅遷移某些大表而不是整個庫的時候,可以用到。有興趣的朋友可以想想大概的算法。
總結(jié)
以上所述是小編給大家介紹的基于python的mysql復(fù)制工具,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!
- 由Python編寫的MySQL管理工具代碼實例
- python實現(xiàn)讀取excel寫入mysql的小工具詳解
- Python操作MySQL數(shù)據(jù)庫的簡單步驟分享
- Python爬蟲爬取全球疫情數(shù)據(jù)并存儲到mysql數(shù)據(jù)庫的步驟
- Python爬取騰訊疫情實時數(shù)據(jù)并存儲到mysql數(shù)據(jù)庫的示例代碼
- 解決python mysql insert語句的問題
- python 在mysql中插入null空值的操作
- python實現(xiàn)MySQL指定表增量同步數(shù)據(jù)到clickhouse的腳本
- 用python開發(fā)一款操作MySQL的小工具
相關(guān)文章
MySQL隱式類型轉(zhuǎn)換導(dǎo)致索引失效的解決
本文主要介紹了MySQL隱式類型轉(zhuǎn)換導(dǎo)致索引失效的解決,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-08-08mysql-8.0.15-winx64 解壓版安裝教程及退出的三種方式
本文通過圖文并茂的形式給大家介紹了mysql-8.0.15-winx64 解壓版安裝,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下2019-04-04MySQL 4G內(nèi)存服務(wù)器配置優(yōu)化
MySQL對于web架構(gòu)性能的影響最大,也是關(guān)鍵的核心部分。下面我們了解一下MySQL優(yōu)化的一些基礎(chǔ),MySQL自身(my.cnf)的優(yōu)化2017-07-07