PostgreSQL可以說是目前比較搶手的關系型數據庫了，除了兼具多樣功能和強大性能之外，還具備非常優(yōu)秀的可擴展性，更重要的是它還開源，能火不是沒有理由的。

雖然PostgreSQL很強大，但是它也有短板，相對于專業(yè)的數據分析產品，大致上有下面幾點不足：

• PostgreSQL本身不太適合用于實時數據分析，盡管PostgreSQL具備擴展能力以支持相應能力，但是在處理大量實時數據時性能可能不會非常理想。
• 作為一個業(yè)務系統(tǒng)，PostgreSQL中歷史數據的堆積會嚴重影響數據庫的性能，同時大幅增加存儲成本，也是一個不得不解決的問題。

而 Doris 就是一個專業(yè)的數據分析產品，它是一個實時數倉，海量數據下以亞秒級的速度返回查詢結果，同時支持高并發(fā)點查詢以及高吞吐復雜分析場景，非常適用于實時數據的分析與查詢。

因此，我們可以選擇Doris搭配PostgreSQL使用，這樣就可以相對完美地彌補PostgreSQL的短板。

太棒了~ 目標定下了，那么問題來了...

如何將PostgreSQL的數據實時同步到Doris？

眾所周知，在兩個毫不相干的數據管理系統(tǒng)之間進行數據同步，特別是實時同步，其復雜程度足以讓高級DBA腦瓜疼。因為有幾個不得不解決的問題：

表的初始化：在同步數據之前，需要手動在Doris端創(chuàng)建和源端一致的表結構，然后才能從源端接收數據。當源端有大量表且表結構很復雜的情況下，是不是想亖的心都有？

數據結構的映射：兩者數據結構不同，怎么確保數據從源端同步過來后的完整性？除非你對兩者的數據模型的理解非常極致，且保證絕對不出錯，才能達到理想的結果。

實時同步的速率：通過Doris進行數據實時分析的大前提是，當前Doris中的數據必須是最新的，即和源端的PostgreSQL完全一致，分析結果才有意義。要保證這一點，可不是一個輕松的工作。

源端DDL語句的聯(lián)動：最痛的一個點，如何保證源端的數據結構發(fā)生變化時，同步鏈路不中斷？那就需要實時捕獲源端PostgreSQL的DDL變更，并及時在目標端的Doris中同步執(zhí)行。

這些問題如果可以順利解決，那實時同步工作將會相當絲滑。那么如何解決呢？方法自然是有的，而且絲毫不費力。對于上述 4 個問題，NineData有絕對的發(fā)言權，我們先來看看它的特性：

結構復制：基于目標端數據源的特性，自動高效地完成表的創(chuàng)建、數據結構的映射等工作。

復制性能：基于動態(tài)攢批、并行復制、Stream Load等技術，復制性能輕松達到200MB/S。

DDL捕獲與執(zhí)行：實時檢測源端中的DDL操作，并同步在目標端中執(zhí)行，保證其他業(yè)務變更能夠穩(wěn)定地進行。

輕松解決且非常愉快，下面來看看怎么操作。

步驟一：錄入源和目標數據源

登錄 NineData 控制臺，單擊數據源管理>數據源，然后在頁面中單擊創(chuàng)建數據源，選擇需要錄入的數據源。

根據頁面提示進行配置，然后單擊創(chuàng)建數據源完成創(chuàng)建。

步驟二：配置同步鏈路

登錄NineData控制臺，單擊數據復制>數據復制，然后單擊創(chuàng)建復制。

根據頁面提示配置復制任務，由于我們想要實現長期的實時數據同步，需要在復制類型處額外勾選增量復制。

配置完成后啟動任務，針對您配置的所有同步對象，NineData會先對所有的存量數據進行全量遷移，接下來就是實時同步PostgreSQL中新增的增量數據，所有新寫入的數據都將一條不漏地同步到Doris，每當目標端的增量數據追平源端時，任務面板中會顯示延遲 0 秒，如下圖所示。

步驟三（可選）：校驗目標端同步數據的完整性

除了同步功能以外，NineData 還提供了同步后源端和目標端同步數據的對比功能，以確保目標端數據的完整性。

登錄NineData控制臺，單擊數據復制>數據復制，然后單擊步驟二中創(chuàng)建的復制任務 ID。

單擊數據對比頁簽，并單擊開啟數據對比（如果步驟二的任務配置中已勾選開啟數據一致性對比，則此處直接展示對比結果）。

提示

開啟后，系統(tǒng)將自動對比源端和目標端的同步對象，并給出對比結果。

您可以在一段時間后，單擊頁面中的重新對比，校驗最新增量數據的同步結果。

步驟四（可選）：配置任務異常告警

由于是長期任務，您可能需要系統(tǒng)實時監(jiān)控任務狀態(tài)，在任務有異常時即刻通知您。

登錄NineData控制臺，單擊數據復制>數據復制，然后單擊步驟二中創(chuàng)建的復制任務 ID。

單擊右上角的配置告警。

輸入策略名稱，單擊保存配置即可。您可以直接使用內置的默認規(guī)則，在任務運行失敗，或復制延遲大于等于 10 分鐘的時候，發(fā)送短信提醒您。您也可以自定義創(chuàng)建規(guī)則，根據您的需求來進行通知。

總結

至此，您已經得到了一條長期穩(wěn)定的 PostgreSQL 到 Doris 的實時同步鏈路，對于需要使用 Doris 實時分析業(yè)務數據的用戶來說，這樣的鏈路不可或缺。同時，在把存量的舊數據同步至 Doris 后，就可以在 PostgreSQL 端進行舊數據清理，空出存儲空間，特別是對于使用云上資源的企業(yè)來說，云資源是較為昂貴的，這樣做可以極大程度上降低存儲成本，轉而投入到更為重要的業(yè)務中。

以上就是將PostgreSQL的數據實時同步到Doris的技巧分享的詳細內容，更多關于PostgreSQL數據實時同步Doris的資料請關注腳本之家其它相關文章！

最新評論