如何通過Java監(jiān)聽MySQL數(shù)據(jù)的變化
原理
原理:java通過bin-log監(jiān)控mysql數(shù)據(jù)變化
binlog :binlog 就是binary log,二進制日志文件,這個文件記錄了mysql所有的增、刪、改語句。通過binlog日志我們可以做數(shù)據(jù)恢復,做主從復制等等??梢钥吹剑灰辛诉@個binlog,我們就擁有了mysql的完整備份了。
就是說一旦開啟了這個功能,數(shù)據(jù)庫中數(shù)據(jù)的任何變化,都會記錄到這種日志文件中,所以可以通過Java監(jiān)聽這種的文件,來監(jiān)聽MySQL數(shù)據(jù)的變化。
開啟MySQL的binlog功能
首先,需要開啟MySQL的binlog功能,MySQL默認是未開啟的
查詢是否開始binlog功能的sql語句:show VARIABLES like '%log_bin%';
log_bin的值是on則表示開啟,我也不知道沒開啟是沒有這個還是值是off,我也不敢瞎說
開啟分為兩步,1.改配置 2.重啟MySQL服務
改配置
打開自己MySQL的配置文件,比如PC端的即my.ini文件,加上下面三句
log-bin=mysql-bin #[必須]啟用二-進制日志 server-id=100 #[必須]服務器唯一ID,如果是用于多臺MySQL,ID不要重復就行 binlog-format = ROW #這句也得加,下面解釋
改完,然后重啟MySQL服務就可以了
說明:
mysql-bin只是個名字而已,可以隨便起。將來保存的日志文件名就是mysql-bin.000001,mysql-bin.000002這樣的。生成的日志文件會存放在自己的MySQL的存放數(shù)據(jù)的文件夾,比如我設置的存放MySQL數(shù)據(jù)的文件夾目錄是:D:\MySql\mysql-8.0.24\data\
,然后生成的日志文件就會在這個目錄下。
binlog-format = ROW,binlog_format 設置為 ROW可以保證數(shù)據(jù)的一致, 因為在 STATEMENT 或 MIXED 模式下, Binlog 只會記錄和傳輸 SQL 語句(以減少日志大小),而不包含具體數(shù)據(jù),我們也就無法保存了。
Java監(jiān)聽MySQL的binlog實現(xiàn)監(jiān)聽數(shù)據(jù)變化
Java需要使用一個工具mysql-binlog-connector-java
導入Jar包:
這個Jar包有兩個版本,一個是com.github.shyiko的一個是com.zendesk,使用方式和代碼完全一樣,只是各自的實現(xiàn)方式可能不同,但是com.github.shyiko20年停止更新了,對于MySQL8兼容性不是很好,建議使用com.zendesk。
<dependency> <groupId>com.zendesk</groupId> <artifactId>mysql-binlog-connector-java</artifactId> <version>0.27.1</version> <!--2022.09.17版的--> </dependency>
順便附上com.github.shyiko
的
MySQL8及以上使用com.github.shyiko的可能會出現(xiàn)Client does not support authentication protocol requested by server...
錯誤
原因:mysql8 之前的版本中加密規(guī)則是mysql_native_password,而在mysql8之后,加密規(guī)則是caching_sha2_password,
解決辦法:把mysql用戶登錄密碼加密規(guī)則還原成mysql_native_password,
SQL語句:ALTER USER 'root'@'自己需要連接的數(shù)據(jù)庫的host,自己本機的就用localhost' IDENTIFIED WITH mysql_native_password BY '自己所使用的登錄密碼';
然后就好了
然后再看邏輯代碼:
實現(xiàn)是在connectMysqlBinLog()方法中的,里面通過data instanceof ****,即可查詢到執(zhí)行的增刪改什么請求,詳細請看代碼,看一下就明白了
//為什么甚至路徑都一樣,還是com.github.shyiko.***, // 因為com.zendesk這個包,里面包了個com.github.shyiko.***這玩意,我懷疑是收購關系 import com.github.shyiko.mysql.binlog.BinaryLogClient; import com.github.shyiko.mysql.binlog.event.*; import org.springframework.boot.ApplicationArguments; import org.springframework.boot.ApplicationRunner; import org.springframework.stereotype.Component; import lombok.extern.slf4j.Slf4j; import java.io.IOException; //此類可以監(jiān)控MySQL庫數(shù)據(jù)的增刪改 @Component @Slf4j //用于打印日志 //在SpringBoot中,提供了一個接口:ApplicationRunner。 //該接口中,只有一個run方法,他執(zhí)行的時機是:spring容器啟動完成之后,就會緊接著執(zhí)行這個接口實現(xiàn)類的run方法。 public class MysqlBinLogClient implements ApplicationRunner { @Override public void run(ApplicationArguments args) throws Exception { //項目啟動完成連接bin-log new Thread(() -> { connectMysqlBinLog(); }).start(); } /** * 連接mysqlBinLog */ public void connectMysqlBinLog() { log.info("監(jiān)控BinLog服務已啟動"); //自己MySQL的信息。host,port,username,password BinaryLogClient client = new BinaryLogClient("localhost", 3306, "root", "root"); /**因為binlog不是以數(shù)據(jù)庫為單位劃分的,所以監(jiān)控binglog不是監(jiān)控的單個的數(shù)據(jù)庫,而是整個當前所設置連接的MySQL, *其中任何一個庫發(fā)生數(shù)據(jù)增刪改,這里都能檢測到, *所以不用設置所監(jiān)控的數(shù)據(jù)庫的名字(我也不知道怎么設置,沒發(fā)現(xiàn)有包含這個形參的構造函數(shù)) *如果需要只監(jiān)控指定的數(shù)據(jù)庫,可以看后面代碼,可以獲取到當前發(fā)生變更的數(shù)據(jù)庫名稱。可以根據(jù)名稱來決定是否監(jiān)控 **/ client.setServerId(100); //和自己之前設置的server-id保持一致,但是我不知道為什么不一致也能成功 //下面直接照抄就行 client.registerEventListener(event -> { EventData data = event.getData(); if (data instanceof TableMapEventData) { //只要連接的MySQL發(fā)生的增刪改的操作,則都會進入這里,無論哪個數(shù)據(jù)庫 TableMapEventData tableMapEventData = (TableMapEventData) data; //可以通過轉成TableMapEventData類實例的tableMapEventData來獲取當前發(fā)生變更的數(shù)據(jù)庫 System.out.println("發(fā)生變更的數(shù)據(jù)庫:"+tableMapEventData.getDatabase()); System.out.print("TableID:"); //表ID System.out.println(tableMapEventData.getTableId()); System.out.print("TableName:"); //表名字 System.out.println(tableMapEventData.getTable()); } //表數(shù)據(jù)發(fā)生修改時觸發(fā) if (data instanceof UpdateRowsEventData) { System.out.println("Update:"); System.out.println(data.toString()); //表數(shù)據(jù)發(fā)生插入時觸發(fā) } else if (data instanceof WriteRowsEventData) { System.out.println("Insert:"); System.out.println(data.toString()); //表數(shù)據(jù)發(fā)生刪除后觸發(fā) } else if (data instanceof DeleteRowsEventData) { System.out.println("Delete:"); System.out.println(data.toString()); } }); try { client.connect(); } catch (IOException e) { e.printStackTrace(); } } }
有一定可能數(shù)據(jù)發(fā)生變更后控制臺沒打印,可能是加載慢的原因,稍等一會控制臺就可能會打印相關信息
總結
到此這篇關于如何通過Java監(jiān)聽MySQL數(shù)據(jù)的變化的文章就介紹到這了,更多相關Java監(jiān)聽MySQL數(shù)據(jù)變化內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
SpringBoot使用JDBC獲取相關的數(shù)據(jù)方法
這篇文章主要介紹了SpringBoot使用JDBC獲取相關的數(shù)據(jù)方法,JDBC與數(shù)據(jù)庫建立連接、發(fā)送 操作數(shù)據(jù)庫的語句并處理結果,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-03-03