欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

將PostgreSQL的數(shù)據(jù)實(shí)時(shí)同步到Doris的技巧分享

 更新時(shí)間:2024年03月28日 09:07:45   作者:NineData  
眾所周知,在兩個(gè)毫不相干的數(shù)據(jù)管理系統(tǒng)之間進(jìn)行數(shù)據(jù)同步,特別是實(shí)時(shí)同步,其復(fù)雜程度足以讓高級(jí)DBA腦瓜疼,本文給大家介紹了將PostgreSQL的數(shù)據(jù)實(shí)時(shí)同步到Doris的技巧分享,需要的朋友可以參考下

PostgreSQL可以說是目前比較搶手的關(guān)系型數(shù)據(jù)庫了,除了兼具多樣功能和強(qiáng)大性能之外,還具備非常優(yōu)秀的可擴(kuò)展性,更重要的是它還開源,能火不是沒有理由的。

雖然PostgreSQL很強(qiáng)大,但是它也有短板,相對(duì)于專業(yè)的數(shù)據(jù)分析產(chǎn)品,大致上有下面幾點(diǎn)不足:

  • PostgreSQL本身不太適合用于實(shí)時(shí)數(shù)據(jù)分析,盡管PostgreSQL具備擴(kuò)展能力以支持相應(yīng)能力,但是在處理大量實(shí)時(shí)數(shù)據(jù)時(shí)性能可能不會(huì)非常理想。
  • 作為一個(gè)業(yè)務(wù)系統(tǒng),PostgreSQL中歷史數(shù)據(jù)的堆積會(huì)嚴(yán)重影響數(shù)據(jù)庫的性能,同時(shí)大幅增加存儲(chǔ)成本,也是一個(gè)不得不解決的問題。

而 Doris 就是一個(gè)專業(yè)的數(shù)據(jù)分析產(chǎn)品,它是一個(gè)實(shí)時(shí)數(shù)倉,海量數(shù)據(jù)下以亞秒級(jí)的速度返回查詢結(jié)果,同時(shí)支持高并發(fā)點(diǎn)查詢以及高吞吐復(fù)雜分析場(chǎng)景,非常適用于實(shí)時(shí)數(shù)據(jù)的分析與查詢。

因此,我們可以選擇Doris搭配PostgreSQL使用,這樣就可以相對(duì)完美地彌補(bǔ)PostgreSQL的短板。

太棒了~ 目標(biāo)定下了,那么問題來了...

如何將PostgreSQL的數(shù)據(jù)實(shí)時(shí)同步到Doris?

眾所周知,在兩個(gè)毫不相干的數(shù)據(jù)管理系統(tǒng)之間進(jìn)行數(shù)據(jù)同步,特別是實(shí)時(shí)同步,其復(fù)雜程度足以讓高級(jí)DBA腦瓜疼。因?yàn)橛袔讉€(gè)不得不解決的問題:

表的初始化:在同步數(shù)據(jù)之前,需要手動(dòng)在Doris端創(chuàng)建和源端一致的表結(jié)構(gòu),然后才能從源端接收數(shù)據(jù)。當(dāng)源端有大量表且表結(jié)構(gòu)很復(fù)雜的情況下,是不是想亖的心都有?

數(shù)據(jù)結(jié)構(gòu)的映射:兩者數(shù)據(jù)結(jié)構(gòu)不同,怎么確保數(shù)據(jù)從源端同步過來后的完整性?除非你對(duì)兩者的數(shù)據(jù)模型的理解非常極致,且保證絕對(duì)不出錯(cuò),才能達(dá)到理想的結(jié)果。

實(shí)時(shí)同步的速率:通過Doris進(jìn)行數(shù)據(jù)實(shí)時(shí)分析的大前提是,當(dāng)前Doris中的數(shù)據(jù)必須是最新的,即和源端的PostgreSQL完全一致,分析結(jié)果才有意義。要保證這一點(diǎn),可不是一個(gè)輕松的工作。

源端DDL語句的聯(lián)動(dòng):最痛的一個(gè)點(diǎn),如何保證源端的數(shù)據(jù)結(jié)構(gòu)發(fā)生變化時(shí),同步鏈路不中斷?那就需要實(shí)時(shí)捕獲源端PostgreSQL的DDL變更,并及時(shí)在目標(biāo)端的Doris中同步執(zhí)行。

這些問題如果可以順利解決,那實(shí)時(shí)同步工作將會(huì)相當(dāng)絲滑。那么如何解決呢?方法自然是有的,而且絲毫不費(fèi)力。對(duì)于上述 4 個(gè)問題,NineData有絕對(duì)的發(fā)言權(quán),我們先來看看它的特性:

結(jié)構(gòu)復(fù)制:基于目標(biāo)端數(shù)據(jù)源的特性,自動(dòng)高效地完成表的創(chuàng)建、數(shù)據(jù)結(jié)構(gòu)的映射等工作。

復(fù)制性能:基于動(dòng)態(tài)攢批、并行復(fù)制、Stream Load等技術(shù),復(fù)制性能輕松達(dá)到200MB/S。

DDL捕獲與執(zhí)行:實(shí)時(shí)檢測(cè)源端中的DDL操作,并同步在目標(biāo)端中執(zhí)行,保證其他業(yè)務(wù)變更能夠穩(wěn)定地進(jìn)行。

輕松解決且非常愉快,下面來看看怎么操作。

步驟一:錄入源和目標(biāo)數(shù)據(jù)源

登錄 NineData 控制臺(tái),單擊數(shù)據(jù)源管理>數(shù)據(jù)源,然后在頁面中單擊創(chuàng)建數(shù)據(jù)源,選擇需要錄入的數(shù)據(jù)源。

根據(jù)頁面提示進(jìn)行配置,然后單擊創(chuàng)建數(shù)據(jù)源完成創(chuàng)建。

步驟二:配置同步鏈路

登錄NineData控制臺(tái),單擊數(shù)據(jù)復(fù)制>數(shù)據(jù)復(fù)制,然后單擊創(chuàng)建復(fù)制。

根據(jù)頁面提示配置復(fù)制任務(wù),由于我們想要實(shí)現(xiàn)長期的實(shí)時(shí)數(shù)據(jù)同步,需要在復(fù)制類型處額外勾選增量復(fù)制。

配置完成后啟動(dòng)任務(wù),針對(duì)您配置的所有同步對(duì)象,NineData會(huì)先對(duì)所有的存量數(shù)據(jù)進(jìn)行全量遷移,接下來就是實(shí)時(shí)同步PostgreSQL中新增的增量數(shù)據(jù),所有新寫入的數(shù)據(jù)都將一條不漏地同步到Doris,每當(dāng)目標(biāo)端的增量數(shù)據(jù)追平源端時(shí),任務(wù)面板中會(huì)顯示延遲 0 秒,如下圖所示。

步驟三(可選):校驗(yàn)?zāi)繕?biāo)端同步數(shù)據(jù)的完整性

除了同步功能以外,NineData 還提供了同步后源端和目標(biāo)端同步數(shù)據(jù)的對(duì)比功能,以確保目標(biāo)端數(shù)據(jù)的完整性。

登錄NineData控制臺(tái),單擊數(shù)據(jù)復(fù)制>數(shù)據(jù)復(fù)制,然后單擊步驟二中創(chuàng)建的復(fù)制任務(wù) ID。

單擊數(shù)據(jù)對(duì)比頁簽,并單擊開啟數(shù)據(jù)對(duì)比(如果步驟二的任務(wù)配置中已勾選開啟數(shù)據(jù)一致性對(duì)比,則此處直接展示對(duì)比結(jié)果)。

提示

開啟后,系統(tǒng)將自動(dòng)對(duì)比源端和目標(biāo)端的同步對(duì)象,并給出對(duì)比結(jié)果。

您可以在一段時(shí)間后,單擊頁面中的重新對(duì)比,校驗(yàn)最新增量數(shù)據(jù)的同步結(jié)果。

步驟四(可選):配置任務(wù)異常告警

由于是長期任務(wù),您可能需要系統(tǒng)實(shí)時(shí)監(jiān)控任務(wù)狀態(tài),在任務(wù)有異常時(shí)即刻通知您。

登錄NineData控制臺(tái),單擊數(shù)據(jù)復(fù)制>數(shù)據(jù)復(fù)制,然后單擊步驟二中創(chuàng)建的復(fù)制任務(wù) ID。

單擊右上角的配置告警。

輸入策略名稱,單擊保存配置即可。您可以直接使用內(nèi)置的默認(rèn)規(guī)則,在任務(wù)運(yùn)行失敗,或復(fù)制延遲大于等于 10 分鐘的時(shí)候,發(fā)送短信提醒您。您也可以自定義創(chuàng)建規(guī)則,根據(jù)您的需求來進(jìn)行通知。

總結(jié)

至此,您已經(jīng)得到了一條長期穩(wěn)定的 PostgreSQL 到 Doris 的實(shí)時(shí)同步鏈路,對(duì)于需要使用 Doris 實(shí)時(shí)分析業(yè)務(wù)數(shù)據(jù)的用戶來說,這樣的鏈路不可或缺。同時(shí),在把存量的舊數(shù)據(jù)同步至 Doris 后,就可以在 PostgreSQL 端進(jìn)行舊數(shù)據(jù)清理,空出存儲(chǔ)空間,特別是對(duì)于使用云上資源的企業(yè)來說,云資源是較為昂貴的,這樣做可以極大程度上降低存儲(chǔ)成本,轉(zhuǎn)而投入到更為重要的業(yè)務(wù)中。

以上就是將PostgreSQL的數(shù)據(jù)實(shí)時(shí)同步到Doris的技巧分享的詳細(xì)內(nèi)容,更多關(guān)于PostgreSQL數(shù)據(jù)實(shí)時(shí)同步Doris的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Postgresql中xlog生成和清理邏輯操作

    Postgresql中xlog生成和清理邏輯操作

    這篇文章主要介紹了Postgresql中xlog生成和清理邏輯操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-01-01
  • postgresql 賦權(quán)語句 grant的正確使用說明

    postgresql 賦權(quán)語句 grant的正確使用說明

    這篇文章主要介紹了postgresql 賦權(quán)語句 grant的正確使用說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-01-01
  • Mac系統(tǒng)重置PostgreSQL密碼的方法示例代碼

    Mac系統(tǒng)重置PostgreSQL密碼的方法示例代碼

    PostgreSQL 是一個(gè)免費(fèi)的對(duì)象-關(guān)系數(shù)據(jù)庫服務(wù)器(ORDBMS),在靈活的BSD許可證下發(fā)行。這篇文章主要介紹了Mac系統(tǒng)重置PostgreSQL密碼的方法示例代碼,需要的朋友可以參考下
    2020-02-02
  • postgresql 中的時(shí)間處理小技巧(推薦)

    postgresql 中的時(shí)間處理小技巧(推薦)

    這篇文章主要介紹了postgresql 中的時(shí)間處理小技巧(推薦),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-03-03
  • PostgreSQL操作json/jsonb方法詳解

    PostgreSQL操作json/jsonb方法詳解

    這篇文章主要給大家介紹了關(guān)于PostgreSQL操作json/jsonb的相關(guān)資料,PostgreSQL提供了兩種存儲(chǔ)JSON數(shù)據(jù)的類型:json和jsonb; jsonb是json的二進(jìn)制形式,文中介紹的非常詳細(xì),需要的朋友可以參考下
    2023-09-09
  • PostgreSQL 序列綁定字段與不綁定字段的區(qū)別說明

    PostgreSQL 序列綁定字段與不綁定字段的區(qū)別說明

    這篇文章主要介紹了PostgreSQL 序列綁定字段與不綁定字段的區(qū)別說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-02-02
  • PostgreSQL 修改表字段常用命令操作

    PostgreSQL 修改表字段常用命令操作

    這篇文章主要介紹了PostgreSQL 修改表字段常用命令操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • navicat連接postgresql、人大金倉等數(shù)據(jù)庫報(bào)錯(cuò)解決辦法

    navicat連接postgresql、人大金倉等數(shù)據(jù)庫報(bào)錯(cuò)解決辦法

    在使用Navicat操作數(shù)據(jù)庫時(shí),遇到數(shù)據(jù)報(bào)錯(cuò)是一個(gè)常見的問題,這類問題可能涉及多個(gè)方面,下面這篇文章主要給大家介紹了關(guān)于navicat連接postgresql、人大金倉等數(shù)據(jù)庫報(bào)錯(cuò)的解決辦法,需要的朋友可以參考下
    2024-08-08
  • PostgreSQL 日志文件的所在位置

    PostgreSQL 日志文件的所在位置

    這篇文章主要介紹了PostgreSQL 日志文件的所在位置,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-01-01
  • 開源數(shù)據(jù)庫postgreSQL13在麒麟v10sp1源碼安裝過程詳解

    開源數(shù)據(jù)庫postgreSQL13在麒麟v10sp1源碼安裝過程詳解

    這篇文章主要介紹了開源數(shù)據(jù)庫postgreSQL13在麒麟v10sp1源碼安裝過程詳解,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-01-01

最新評(píng)論