物理復制（流復制 Streaming Replication ）作為 PostgreSQL 高可用架構(gòu)的核心技術(shù)，其安全性直接關(guān)系到數(shù)據(jù)庫集群的可靠性；本文選擇物理復制中備庫向主庫請求建立流復制連接的認證過程，即 walreceiver 進程連接主庫時的認證機制，并結(jié)合源碼解析其實現(xiàn)原理

01 數(shù)據(jù)庫物理復制

如上圖所示，PostgreSQL 的主備物理復制即流復制（Streaming Replication）機制確保主庫（Primary）生成的預寫日志（WAL）能實時傳輸?shù)絺鋷欤⊿tandby）并正確應用，從而實現(xiàn)數(shù)據(jù)的同步，其實現(xiàn)依賴于三個關(guān)鍵進程：

• walsender（主庫）：推送 WAL 數(shù)據(jù)到備庫
• walreceiver（備庫）：接收并存儲 WAL 數(shù)據(jù)
• startup（備庫）：應用 WAL 數(shù)據(jù)到數(shù)據(jù)庫文件

在流復制過程中，預寫日志（Write Ahead Log）即圖中的 XLOG 的生命周期如下：

• 主庫生成 WAL：主庫執(zhí)行事務(wù)時，將變更寫入 WAL 緩沖區(qū)，最終持久化到 WAL 文件
• walsender 發(fā)送 WAL：walsender 進程從 WAL 文件或緩沖區(qū)讀取數(shù)據(jù)，通過復制協(xié)議發(fā)送給備庫的 walreceiver
• walreceiver 接收并存儲 WAL：備庫的 walreceiver 將接收到的 WAL 數(shù)據(jù)寫入本地 pg_wal 目錄，并通知 startup 進程
• startup 應用 WAL：startup 進程讀取本地 WAL 文件，按順序?qū)⒆兏鼞玫絺鋷斓臄?shù)據(jù)文件中，完成數(shù)據(jù)同步

02 連接主庫認證

當備庫以恢復模式（Recovery Mode）啟動時（例如存在 standby.signal 或 recovery.conf 文件），PostgreSQL 主進程postmaster會直接啟動 startup 進程。在 startup 進程初始化過程中對 primary_conninfo 中的參數(shù)信息解析后填充到共享內(nèi)存中的 WalRcvData 數(shù)據(jù)結(jié)構(gòu)中，然后備庫在啟動 walreceiver 進程時根據(jù)配置嘗試連接到主庫。連接成功，該備庫的 walreceiver 進程，與主庫的 walsender 建立復制流

所以，備庫想要和主庫建立復制流，需要進行連接認證

2.1 根據(jù)配置文件獲取密碼

通過配置文件中的 primary_conninfo 參數(shù) password 明文配置連接密碼是最常用的方式，正確配置對應字段之后，walreceiver 進程則根據(jù)該信息進行連接認證， primary_conninfo 參數(shù)配置樣例如下，

primary_conninfo = 'host=192.168.1.100 port=5432 user=replicator password=yourpassword application_name=standby1 sslmode=require sslcompression=0 keepalives=on connect_timeout=10'

primary_conninfo 中常見的配置項及其說明如下：

如果需要避免在 primary_conninfo 中明文存儲密碼，可以通過接下來的兩種方式進行認證：在備庫啟動時通過環(huán)境變量提供密碼或通過.pgpass 密碼文件提供密碼

2.2 通過環(huán)境變量注入密碼

PostgreSQL 的 libpq 庫通過一系列環(huán)境變量為連接參數(shù)提供默認值，在代碼中沒有顯式指定對應參數(shù)時，這些變量會在調(diào)用 PQconnectdb、PQsetdbLogin 或 PQsetdb 時生效；這些環(huán)境變量同樣可以適用于 walreceiver 進程向主庫申請建立連接的認證過程

以下是 libpq 支持的常用環(huán)境變量，更多的環(huán)境變量適用說明可以參考官方文檔

https://www.postgresql.org/docs/current/libpq-envars.html

通過環(huán)境變量注入密碼，需要確保 walreceiver 進程啟動時的環(huán)境變量中已經(jīng)配置了 PGPASSWORD，即在備庫啟動之前需要先使用如下命令設(shè)置 PGPASSWORD 環(huán)境變量，當然也可以直接通過編輯 .bashrc 等文件進行配置

export PGPASSWORD="yourpassword"

這樣就可以在 primary_conninfo 沒有配置 password 字段的情況下進行驗證，但需要保證該密鑰與流復制用戶正確匹配才能認證成功

但在實際使用中 PGPASSWORD明文密碼可能被進程監(jiān)控工具捕獲，同樣存在安全風險，推薦使用 .pgpass 密碼文件

2.3 通過密碼文件獲取密碼

PostgreSQL 中通過密碼文件 .pgpass 存儲數(shù)據(jù)庫密碼是一種較為安全的方式，避免在代碼、命令行或環(huán)境變量中暴露明文密碼。當客戶端工具連接數(shù)據(jù)庫時，若未通過其他方式指定密碼，會自動從 .pgpass 文件中匹配條目獲取密碼；該密碼文件的默認路徑是 ~/.pgpass ，文件格式如下

hostname:port:database:username:password

需要注意的是，密碼文件必須限制訪問權(quán)限，僅允許文件所有者讀寫，否則 PostgreSQL 會忽略該文件

chmod 600 ~/.pgpass

除了默認的文件路徑 ~/.pgpass ，也可以通過環(huán)境變量 PGPASSFILE 或者直接設(shè)置連接參數(shù) passfile 來指定自定義密碼文件路徑

export PGPASSFILE=/path/to/custom_passfile

walreceiver 進程通過 libpq 進行認證時，如果未顯示指定密碼，則會嘗試在備庫的密碼文件中查找匹配的密碼，但作為流復制用戶在 .pgpass 文件中該記錄的數(shù)據(jù)庫名稱需要配置成 replication

hostname:port:replication:username:password

03 walreceiver 認證源碼解析

前文提到 startup 進程在主進程postmaster發(fā)現(xiàn)作為備庫啟動即以恢復模式（Recovery Mode）啟動時直接啟動；而 walreceiver 進程則是由 startup 進程在進行一系列條件判斷后，通知 postmaster 來啟動，該過程執(zhí)行順序如下：

• 觸發(fā)條件：當備庫負責 WAL 恢復的 startup 進程發(fā)現(xiàn)本地 WAL 日志不完整需要從主庫流式傳輸時，會通過信號通知 postmaster 啟動 walreceiver 進程
• 信號傳遞：startup 調(diào)用 SendPostmasterSignal(PMSIGNAL_START_WALRECEIVER)，向 postmaster 發(fā)送啟動 walreceiver 的請求
• postmaster 響應：postmaster 收到信號后，在其主循環(huán)中調(diào)用 LaunchMissingBackgroundProcesses()，發(fā)現(xiàn)需要啟動 walreceiver，隨即創(chuàng)建子進程

進程啟動：postmaster 通過 fork() 創(chuàng)建子進程，子進程執(zhí)行 WalReceiverMain()，成為 walreceiver 進程，連接到主庫拉取 WAL 數(shù)據(jù)

StartupProcessMain()          // 備庫啟動 startup 進程的主函數(shù)
  ->StartupXLOG()             // 負責 WAL 恢復的核心邏輯
    ->InitWalRecovery()       // 初始化 WAL 恢復環(huán)境
      ->XLogReaderAllocate()  // 分配 WAL 讀取器
        ->XLogPageRead()      // 讀取 WAL 頁
          ->WaitForWALToBecomeAvailable()  // 檢查 WAL 是否可用
            ->RequestXLogStreaming()       // 判斷需要流復制，觸發(fā)啟動 walreceiver
              ->SendPostmasterSignal(PMSIGNAL_START_WALRECEIVER)  // 通知 postmaster
                // (postmaster 進程側(cè)操作)
                ->process_pm_pmsignal()    // 處理信號 PMSIGNAL_START_WALRECEIVER
                  ->LaunchMissingBackgroundProcesses()  // 檢查并啟動缺失的后臺進程
                    ->StartChildProcess(B_WAL_RECEIVER) // 啟動 walreceiver 進程
                      ->postmaster_child_launch()       // 創(chuàng)建子進程
                        ->WalReceiverMain()             // walreceiver 主函數(shù)

walreceiver 進程啟動之后，根據(jù) WalRcvData 中已經(jīng)初始化好的連接信息 conninfo 嘗試和主庫建立連接，連接過程使用 libpq 和核心函數(shù) PQconnectStartParams 建立連接，認證密碼獲取方式有：

• 通過配置參數(shù)：在根據(jù) primary_conninfo 初始化好的 WalRcvData 中包含 password 信息
• 通過環(huán)境變量：在調(diào)用 conninfo_add_defaults 獲取默認值時，會使用 getenv 函數(shù)遍歷PQconninfoOptions 數(shù)組中的所有環(huán)境變量并獲取對應的值，其中就包括 PGPASSWORD 用于給 pgpass 賦值
• 通過密碼文件：在調(diào)用pqConnectOptions2函數(shù)時如果發(fā)現(xiàn)當前的 conn->pgpass 仍然為空，則根據(jù)默認的密碼文件 ~/.pgpass 或用戶自定義的密碼文件路徑 PGPASSFILE 并調(diào)用passwordFromFile函數(shù)獲取所有 host 對應的密碼

WalReceiverMain()             // walreceiver 進程主入口
  ->walrcv_connect()          // 觸發(fā)連接主庫的邏輯
    ->libpqrcv_connect()       // 調(diào)用 libpq 庫的封裝接口
      ->libpqsrv_connect_params()  // 增加一些額外的參數(shù)選項 options
        ->PQconnectStartParams()   // 初始化非阻塞連接
          ->conninfo_array_parse()  // 解析連接參數(shù)數(shù)組
            ->conninfo_add_defaults()  // 補充默認連接參數(shù)（從 service file 或者環(huán)境變量中獲取默認值）
          ->pqConnectOptions2()     // 處理認證相關(guān)選項（如密碼文件）
            ->passwordFromFile()    // 從 .pgpass 文件讀取密碼
          ->pqConnectDBStart()      // 啟動異步連接過程
            ->PQconnectPoll()       // 處理連接狀態(tài)機（包括認證協(xié)商）

認證過程中使用密碼時，優(yōu)先使用從密碼文件中獲取的密碼conn->connhost[conn->whichhost].password，該邏輯由 PQpass 函數(shù)實現(xiàn)

char *
PQpass(const PGconn *conn)
{
    char       *password = NULL;
    if (!conn)
        return NULL;
    if (conn->connhost != NULL)
        password = conn->connhost[conn->whichhost].password;
    if (password == NULL)
        password = conn->pgpass;
    /* Historically we've returned "" not NULL for no password specified */
    if (password == NULL)
        password = "";
    return password;
}

04 libpq 的連接控制函數(shù)

在介紹 walreceiver 連接認證時，提到使用PQconnectStartParams 去建立于主庫節(jié)點的連接，這個函數(shù)通過參數(shù)數(shù)組接收連接信息，這種直接傳遞鍵值對可以自動處理特殊字符，是新版本引入的啟動異步連接函數(shù)

PQconnectStartParams 函數(shù)定義如下，接受兩個數(shù)組：keywords 包含參數(shù)關(guān)鍵字，values 包含參數(shù)值，并通過 expand_dbname 指定是否允許擴展參數(shù)

PGconn *PQconnectStartParams(const char *const *keywords, const char *const *values, int expand_dbname)

PQconnectStart 函數(shù)是另一種支持連接字符串的連接控制函數(shù)，定義如下，數(shù)據(jù)庫連接信息是用從 conninfo 連接字符串里取得的參數(shù)中解析出來的

PGconn *PQconnectStart(const char *conninfo)

PQconnectPoll 函數(shù)則是PQconnectStartParams和PQconnectStart最終進行連接建立時調(diào)用的函數(shù)，該函數(shù)輪詢異步連接狀態(tài)，推動連接過程直至完成或失敗

PostgresPollingStatusType PQconnectPoll(PGconn *conn)

PQconnectPoll 函數(shù)返回狀態(tài) PostgresPollingStatusType 定義如下

typedef enum
{
    PGRES_POLLING_FAILED = 0,   // 連接成功
    PGRES_POLLING_READING,      // 需等待套接字可讀
    PGRES_POLLING_WRITING,      // 需等待套接字可寫
    PGRES_POLLING_OK,           // 連接成功
    PGRES_POLLING_ACTIVE        /* unused; keep for backwards compatibility */
} PostgresPollingStatusType;

上述三個函數(shù)PQconnectStart, PQconnectStartParams, PQconnectPoll 都是用于打開一個與數(shù)據(jù)庫服務(wù)器之間的非阻塞的連接，即應用程序在執(zhí)行這些函數(shù)的時候不會因遠端的 I/O 而被阻塞

基于這三個函數(shù)，libpq 提供了三種連接控制接口：PQconnectdb, PQconnectdbParams, PQsetdbLogin

PQconnectdb, PQconnectdbParams 分別對應對PQconnectStart, PQconnectStartParams 函數(shù)的封裝，函數(shù)調(diào)用參數(shù)一致，如下所示

PGconn *
PQconnectdbParams(const char *const *keywords,
                  const char *const *values,
                  int expand_dbname)
PGconn *
PQconnectdb(const char *conninfo)

PQsetdbLogin函數(shù)則是 libpq 早期的遺留函數(shù)，仍保留對舊版本的兼容，接受不太靈活的分立的參數(shù)形式：host, port, options, dbname, user, password，其定義如下

PGconn *
PQsetdbLogin(const char *pghost, const char *pgport, const char *pgoptions,
             const char *pgtty, const char *dbName, const char *login,
             const char *pwd)

這三種接口區(qū)別在于參數(shù)傳遞方式：

PQconnectdbParams函數(shù)建立連接的示例如下，通過關(guān)鍵字和值的數(shù)組傳遞連接參數(shù)，這種方式在動態(tài)生成參數(shù)時更安全，無需轉(zhuǎn)義能避免字符串拼接錯誤，而且支持參數(shù)擴展

const char *keywords[] = {"host", "port", "dbname", NULL};
const char *values[] = {"localhost", "5432", "mydb", NULL};
PGconn *conn = PQconnectdbParams(keywords, values, 0); 

PQconnectdb函數(shù)建立連接的示例如下，通過連接字符串傳遞連接參數(shù)，這種方式在處理密碼等字符串時需要手動進行轉(zhuǎn)義，也支持擴展參數(shù)

PGconn *conn = PQconnectdb("host=127.0.0.1 port=5432 dbname=mydb");

PQsetdbLogin函數(shù)建立連接的示例如下，通過固定參數(shù)傳遞有限的連接參數(shù)，這種方式缺乏靈活性，新代碼不建議使用該接口，該接口僅用于舊版本的兼容

PGconn *conn = PQsetdbLogin("localhost", "5432", "", "mydb", "postgres", "yourpassword");

參考資料

https://www.kancloud.cn/taobaomysql/monthly/81110
https://zhuanlan.zhihu.com/p/530628881
PostgreSQL: Documentation: 17: 19.6. Replication
PostgreSQL: Documentation: 17: 32.15. Environment Variables
PostgreSQL: Documentation: 17: 32.16. The Password File

https://www.postgresql.org/docs/current/libpq-connect.html//LIBPQ-PQCONNECTDB 

到此這篇關(guān)于PostgreSQL 流復制認證機制的文章就介紹到這了,更多相關(guān)PostgreSQL 流復制認證機制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論