快捷導(dǎo)航

MySQL數(shù)據(jù)實(shí)時(shí)同步到MongoDB的實(shí)踐分享

更新時(shí)間：2024年01月16日 10:26:33 作者：海擁?

很多 DBA 同學(xué)經(jīng)常會(huì)遇到要從一個(gè)數(shù)據(jù)庫(kù)實(shí)時(shí)同步到另一個(gè)數(shù)據(jù)庫(kù)的問(wèn)題,同構(gòu)數(shù)據(jù)還相對(duì)容易,遇上異構(gòu)數(shù)據(jù)、表多、數(shù)據(jù)量大等情況就難以同步,我自己親測(cè)了一種方式可以實(shí)現(xiàn)MySQL數(shù)據(jù)實(shí)時(shí)同步到MongoDB,跟大家分享一下,希望對(duì)你有幫助

MySQL 到 MongoDB 實(shí)時(shí)數(shù)據(jù)同步實(shí)操分享

第一步：配置MySQL 連接

1.點(diǎn)擊 Tapdata Cloud 操作后臺(tái)左側(cè)菜單欄的【連接管理】，然后點(diǎn)擊右側(cè)區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁(yè)面，然后選擇MySQL

在這里插入圖片描述

2.在打開的連接信息配置頁(yè)面依次輸入需要的配置信息

在這里插入圖片描述

【連接名稱】：設(shè)置連接的名稱，多個(gè)連接的名稱不能重復(fù)

【數(shù)據(jù)庫(kù)地址】：數(shù)據(jù)庫(kù) IP / Host

【端口】：數(shù)據(jù)庫(kù)端口

【數(shù)據(jù)庫(kù)名稱】：tapdata 數(shù)據(jù)庫(kù)連接是以一個(gè) db 為一個(gè)數(shù)據(jù)源。這里的 db 是指一個(gè)數(shù)據(jù)庫(kù)實(shí)例中的 database，而不是一個(gè) mysql 實(shí)例。

【賬號(hào)】：可以訪問(wèn)數(shù)據(jù)庫(kù)的賬號(hào)

【密碼】：數(shù)據(jù)庫(kù)賬號(hào)對(duì)應(yīng)的密碼

【時(shí) 間時(shí) 區(qū)】：默認(rèn)使用該數(shù)據(jù)庫(kù)的時(shí)區(qū)；若指定時(shí)區(qū)，則使用指定后的時(shí)區(qū)設(shè)置

測(cè)試連接，提示測(cè)試通過(guò)

在這里插入圖片描述

測(cè)試通過(guò)后保存連接即可。

第二步：配置 MongoDB 連接

3.同第一步操作，點(diǎn)擊左側(cè)菜單欄的【連接管理】，然后點(diǎn)擊右側(cè)區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁(yè)面，然后選擇 MongoDB

在這里插入圖片描述

4.在打開的連接信息配置頁(yè)面依次輸入需要的配置信息，配置完成后測(cè)試連接保存即可。

在這里插入圖片描述

第三步：選擇同步模式-全量/增量/全+增

進(jìn)入Tapdata Cloud 操作后臺(tái)任務(wù)管理頁(yè)面，點(diǎn)擊添加任務(wù)按鈕進(jìn)入任務(wù)設(shè)置流程

在這里插入圖片描述

根據(jù)剛才建好的連接，選定源端與目標(biāo)端。

在這里插入圖片描述

根據(jù)數(shù)據(jù)需求，選擇需要同步的庫(kù)、表，如果你對(duì)表名有修改需要，可以通過(guò)頁(yè)面中的表名批量修改功能對(duì)目標(biāo)端的表名進(jìn)行批量設(shè)置.

在這里插入圖片描述

在以上選項(xiàng)設(shè)置完畢后，下一步選擇同步類型，平臺(tái)提供全量同步、增量同步、全量+增量同步，設(shè)定寫入模式和讀取數(shù)量。

如果選擇的是全量+增量同步，在全量任務(wù)執(zhí)行完畢后，Tapdata Agent 會(huì)自動(dòng)進(jìn)入增量同步狀態(tài)。在該狀態(tài)中，Tapdata Agent 會(huì)持續(xù)監(jiān)聽(tīng)源端的數(shù)據(jù)變化（包括：寫入、更新、刪除），并實(shí)時(shí)的將這些數(shù)據(jù)變化寫入目標(biāo)端。

在這里插入圖片描述

點(diǎn)擊任務(wù)名稱可以打開任務(wù)詳情頁(yè)面，可以查看任務(wù)詳細(xì)信息。

在這里插入圖片描述

點(diǎn)擊任務(wù)監(jiān)控可以打開任務(wù)執(zhí)行詳情頁(yè)面，可以查看任務(wù)進(jìn)度/里程碑等的具體信息。

在這里插入圖片描述

第四步：進(jìn)行數(shù)據(jù)校驗(yàn)

一般同步完成后，我都習(xí)慣性進(jìn)行一下數(shù)據(jù)校驗(yàn)，防止踩坑。

Tapdata Cloud 有三種校驗(yàn)?zāi)Ｊ?，我常用最快的快速count校驗(yàn) ，只需要選擇到要校驗(yàn)的表，不用設(shè)置其他復(fù)雜的參數(shù)和條件，簡(jiǎn)單方便。

在這里插入圖片描述

如果覺(jué)得不夠用，也可以選擇表全字段值校驗(yàn) ，這個(gè)除了要選擇待校驗(yàn)表外，還需要針對(duì)每一個(gè)表設(shè)置索引字段。

在這里插入圖片描述

在進(jìn)行表全字段值校驗(yàn)時(shí)，還支持進(jìn)行高級(jí)校驗(yàn)。通過(guò)高級(jí)校驗(yàn)可以添加JS校驗(yàn)邏輯，可以對(duì)源和目標(biāo)的數(shù)據(jù)進(jìn)行校驗(yàn)。

在這里插入圖片描述

還有一個(gè)校驗(yàn)方式關(guān)聯(lián)字段值校驗(yàn) ，創(chuàng)建關(guān)聯(lián)字段值校驗(yàn)時(shí)，除了要選擇待校驗(yàn)表外，還需要針對(duì)每一個(gè)表設(shè)置索引字段。

在這里插入圖片描述

完美支持SQL->NOSQL，簡(jiǎn)直不要太方便了。以上就是 MySQL數(shù)據(jù)實(shí)時(shí)同步到 MongoDB 的操作分享，希望上面的操作分享對(duì)你有幫助！

到此這篇關(guān)于MySQL數(shù)據(jù)實(shí)時(shí)同步到MongoDB的實(shí)踐分享的文章就介紹到這了,更多相關(guān)MySQL MongoDB數(shù)據(jù)同步內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: