欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL Binlog 日志處理工具對比分析

 更新時間:2021年03月29日 10:06:01   作者:stone-no1  
這篇文章主要介紹了MySQL Binlog 日志處理工具對比分析的相關(guān)資料,幫助大家更好的理解和學習使用MySQL數(shù)據(jù)庫,感興趣的朋友可以了解下

Canal

定位:基于數(shù)據(jù)庫增量日志解析,提供增量數(shù)據(jù)訂閱&消費,目前主要支持了mysql。

原理:

  • canal模擬mysql slave的交互協(xié)議,偽裝自己為mysql slave,向mysql master發(fā)送dump協(xié)議
  • mysql master收到dump請求,開始推送binary log給slave(也就是canal)
  • canal解析binary log對象(原始為byte流)

整個parser過程大致可分為幾步:

  • Connection獲取上一次解析成功的位置(如果第一次啟動,則獲取初始制定的位置或者是當前數(shù)據(jù)庫的binlog位點)
  • Connection建立連接,發(fā)生BINLOG_DUMP命令
  • Mysql開始推送Binary Log
  • 接收到的Binary Log通過Binlog parser進行協(xié)議解析,補充一些特定信息
  • 傳遞給EventSink模塊進行數(shù)據(jù)存儲,是一個阻塞操作,直到存儲成功
  • 存儲成功后,定時記錄Binary Log位置

  • 數(shù)據(jù)過濾:支持通配符的過濾模式,表名,字段內(nèi)容等
  • 數(shù)據(jù)路由/分發(fā):解決1:n (1個parser對應(yīng)多個store的模式)
  • 數(shù)據(jù)歸并:解決n:1 (多個parser對應(yīng)1個store)
  • 數(shù)據(jù)加工:在進入store之前進行額外的處理,比如join

Maxwell

canal 由Java開發(fā),分為服務(wù)端和客戶端,擁有眾多的衍生應(yīng)用,性能穩(wěn)定,功能強大;canal 需要自己編寫客戶端來消費canal解析到的數(shù)據(jù)。

maxwell相對于canal的優(yōu)勢是使用簡單,它直接將數(shù)據(jù)變更輸出為json字符串,不需要再編寫客戶端。

Databus

Databus是一種低延遲變化捕獲系統(tǒng),已成為LinkedIn數(shù)據(jù)處理管道不可或缺的一部分。Databus解決了可靠捕獲,流動和處理主要數(shù)據(jù)更改的基本要求。Databus提供以下功能:

  • 源與消費者之間的隔離
  • 保證按順序和至少一次交付具有高可用性
  • 從更改流中的任意時間點開始消耗,包括整個數(shù)據(jù)的完全引導功能。
  • 分區(qū)消費
  • 源一致性保存

阿里云的數(shù)據(jù)傳輸服務(wù)DTS

數(shù)據(jù)傳輸服務(wù)(Data Transmission Service,簡稱DTS)是阿里云提供的一種支持 RDBMS(關(guān)系型數(shù)據(jù)庫)、NoSQL、OLAP 等多種數(shù)據(jù)源之間數(shù)據(jù)交互的數(shù)據(jù)流服務(wù)。DTS提供了數(shù)據(jù)遷移、實時數(shù)據(jù)訂閱及數(shù)據(jù)實時同步等多種數(shù)據(jù)傳輸能力,可實現(xiàn)不停服數(shù)據(jù)遷移、數(shù)據(jù)異地災備、異地多活(單元化)、跨境數(shù)據(jù)同步、實時數(shù)據(jù)倉庫、查詢報表分流、緩存更新、異步消息通知等多種業(yè)務(wù)應(yīng)用場景,助您構(gòu)建高安全、可擴展、高可用的數(shù)據(jù)架構(gòu)。

優(yōu)勢:數(shù)據(jù)傳輸(Data Transmission)服務(wù) DTS 支持 RDBMS、NoSQL、OLAP 等多種數(shù)據(jù)源間的數(shù)據(jù)傳輸。它提供了數(shù)據(jù)遷移、實時數(shù)據(jù)訂閱及數(shù)據(jù)實時同步等多種數(shù)據(jù)傳輸方式。相對于第三方數(shù)據(jù)流工具,數(shù)據(jù)傳輸服務(wù) DTS 提供更豐富多樣、高性能、高安全可靠的傳輸鏈路,同時它提供了諸多便利功能,極大得方便了傳輸鏈路的創(chuàng)建及管理。

個人理解:就是一個消息隊列,會給你推送它包裝過的sql對象,可以自己做個服務(wù)去解析這些sql對象。

免去部署維護的昂貴使用成本。DTS針對阿里云RDS(在線關(guān)系型數(shù)據(jù)庫)、DRDS等產(chǎn)品進行了適配,解決了Binlog日志回收,主備切換、VPC網(wǎng)絡(luò)切換等場景下的訂閱高可用問題。同時,針對RDS進行了針對性的性能優(yōu)化。出于穩(wěn)定性、性能及成本的考慮,推薦使用。

以上就是MySQL Binlog 日志處理工具對比分析的詳細內(nèi)容,更多關(guān)于MySQL Binlog 日志處理工具的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

最新評論