快捷導(dǎo)航

PostgreSQL?Log日志模塊原理及存在的問(wèn)題詳解

更新時(shí)間：2024年02月03日 09:19:58 作者：總想玩世不恭

這篇文章主要給大家介紹了關(guān)于PostgreSQL?Log日志模塊原理及存在的問(wèn)題的相關(guān)資料,先日志在我們開(kāi)發(fā)過(guò)程中占據(jù)了一個(gè)非常重要的地位,是開(kāi)發(fā)和運(yùn)維管理之間的橋梁,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下

背景

PG 的日志模塊是一個(gè)相對(duì)獨(dú)立的模塊，主要功能就是打印用戶(hù)的操作日志以及一些異常報(bào)錯(cuò)信息。本文僅講述 logging_collector 參數(shù)開(kāi)啟的情況。

日志模塊原理

Syslogger 核心模塊

PG 有各種各樣的進(jìn)程，其中 syslogger 進(jìn)程專(zhuān)門(mén)用于打印日志信息。

而其余進(jìn)程打印日志的方法如出一轍：將需要打印的信息發(fā)送給 syslogger 進(jìn)程，由其統(tǒng)一負(fù)責(zé)打印。

syslogger 的大體邏輯如下圖所示：

postmaster 進(jìn)程在 SysLogger_Start 函數(shù)完成部分初始化；
由 postmaster 進(jìn)程 fork 出 syslogger 進(jìn)程；
進(jìn)入 syslogger 的主邏輯函數(shù) SysLoggerMain 中，大循環(huán)監(jiān)聽(tīng)其他進(jìn)程發(fā)送來(lái)的日志消息，處理打印邏輯。在大循環(huán)中同時(shí)也根據(jù)時(shí)間和大小，來(lái)判斷是否進(jìn)行日志輪轉(zhuǎn)。

日志消息通信

PG 的其余進(jìn)程如果有需要打印的日志，通常會(huì)調(diào)用 elog 或者 ereport 來(lái)打印。而這兩個(gè)函數(shù)會(huì)將日志消息分成若干個(gè) chunk 發(fā)送給 syslogger 進(jìn)程，每個(gè) chunk 的結(jié)構(gòu)可參考下圖（源碼中的 PipeProtoChunk 結(jié)構(gòu)）

開(kāi)頭兩個(gè) \0 ，表示是日志開(kāi)頭
length：用于記錄當(dāng)前 chunk 的長(zhǎng)度
pid：發(fā)送該 chunk 的進(jìn)程號(hào)
is_last：是否是本條日志消息的最后一個(gè) chunk；
data：具體的日志消息。
chunk 大?。篜IPE_CHUNK_SIZE ，源碼 define 出的一個(gè)值，由 OS 的 PIPE_BUF 決定。具體細(xì)節(jié)可參考這部分定義的代碼。
注： PG 15 在 pipe 協(xié)議格式中做了一些變化，由 flags 代替 is_last 標(biāo)記。

syslogger 在接收到日志消息后，將其按照 pid 進(jìn)行分組，相同的 pid 說(shuō)明日志消息來(lái)源于同一進(jìn)程，將其組裝起來(lái)，當(dāng)收到包含 is_last 標(biāo)記的最后一個(gè) chunk 后，將整條日志消息打印到日志文件。

日志輪轉(zhuǎn)

所謂日志輪轉(zhuǎn)，指的就是不想繼續(xù)寫(xiě)當(dāng)前日志文件了，需要新找一個(gè)日志文件繼續(xù)寫(xiě)日志。

PG 的日志輪轉(zhuǎn)是一個(gè)坑非常多的地方，因?yàn)樗上旅嫠膫€(gè)參數(shù)同時(shí)控制：

log_filename ：日志文件格式，我們以其設(shè)定為 postgres_%d_%h 為例，某個(gè)月 14 號(hào) 15 點(diǎn)的日志文件名就是 postgres_14_15.log
log_rotation_age：如果距離當(dāng)前日志文件已經(jīng)超過(guò)設(shè)定的時(shí)間，那么就新開(kāi)一個(gè)日志文件；
log_rotation_size：如果距離當(dāng)前日志文件還沒(méi)有超過(guò) log_rotation_age 設(shè)定的時(shí)間，但是已經(jīng)超過(guò)了 log_rotation_size 設(shè)定的大小，那么就新開(kāi)一個(gè)日志文件；
log_truncate_on_rotation：是否在按時(shí)間輪轉(zhuǎn)后做截?cái)?。即如果下一個(gè)日志文件的同名文件已經(jīng)存在了，是否直接清空該文件并從頭開(kāi)始寫(xiě)；

這幾個(gè)參數(shù)的具體使用可參考 PG 官方文檔。看完上面的介紹，想必大家已經(jīng)精通日志參數(shù)設(shè)置了，那么接下來(lái)做幾道題檢驗(yàn)自己的學(xué)習(xí)成果。

假如，我們按照以下值設(shè)定日志相關(guān)參數(shù)

log_filename='postgres_%d_%h.log'
log_rotation_age = 2h
log_rotation_size = 10MB
log_truncate_on_rotation = on

問(wèn)題一

Q：此時(shí)時(shí)間剛到 14 號(hào)下午 17 點(diǎn) ，日志文件為 postgres_14_16.log，且大小為 5MB，請(qǐng)問(wèn)接下來(lái)要寫(xiě)的日志文件是什么？
A：postgres_14_16.log 。因?yàn)榇藭r(shí)距離 15 點(diǎn)僅過(guò)了 1h，沒(méi)有超過(guò) log_rotation_age；大小并沒(méi)有超過(guò) log_rotation_size ，所以并不發(fā)生輪轉(zhuǎn)。

問(wèn)題二

Q：此時(shí)時(shí)間為 14 號(hào)下午 16 點(diǎn) 30 分，日志文件為 postgres_14_16.log，且大小剛剛超過(guò) 10MB 到達(dá) 10.9MB，請(qǐng)問(wèn)接下來(lái)要寫(xiě)的日志文件是什么？
A：postgres_14_16.log 。因?yàn)?log_filename 參數(shù)的最小精度值就到小時(shí)，哪怕當(dāng)前日志文件大小變成 1TB 也只會(huì)繼續(xù)追加寫(xiě)這個(gè)文件。

問(wèn)題三

Q：此時(shí)時(shí)間剛到 14 號(hào)下午 17 點(diǎn) ，日志文件為 postgres_14_16.log，且大小剛剛超過(guò) 10MB 到達(dá) 10.9MB，請(qǐng)問(wèn)接下來(lái)要寫(xiě)的日志文件是什么？
A：postgres_14_17.log 。因?yàn)闈M(mǎn)足 log_rotation_size 的輪轉(zhuǎn)條件了。

問(wèn)題四

Q：此時(shí)時(shí)間剛到 14 號(hào)下午 17 點(diǎn) ，日志文件為 postgres_14_16.log，且大小剛剛超過(guò) 10MB 到達(dá) 10.9MB，但是名為 postgres_14_17.log 的文件已經(jīng)存在了（上個(gè)月日志創(chuàng)建的），那么是追加寫(xiě)還是覆蓋寫(xiě)該文件？
A：追加寫(xiě)，因?yàn)檫@是按大小輪轉(zhuǎn)。

問(wèn)題五

Q：此時(shí)時(shí)間剛到 14 號(hào)下午 18 點(diǎn) ，日志文件為 postgres_14_16.log，且大小只有 0.1MB。但是名為 postgres_14_18.log 的文件已經(jīng)存在了，那么是追加寫(xiě)還是覆蓋寫(xiě)該文件？
A：覆蓋寫(xiě)，log_rotation_age 強(qiáng)制觸發(fā)按時(shí)間輪轉(zhuǎn)邏輯。

上面問(wèn)題都能搞懂，基本也沒(méi)什么坑了。

存在的問(wèn)題

刷盤(pán)性能

當(dāng)前情況下，在 log_statement 參數(shù)設(shè)置成 all 時(shí)，性能下降會(huì)非常厲害。因?yàn)?PG 的日志在刷盤(pán)時(shí)的默認(rèn)策略為：每寫(xiě)一行就刷盤(pán)。Linux 提供的刷盤(pán)模式可分為以下三種：

_IOFBF：全緩沖模式，緩沖區(qū)寫(xiě)滿(mǎn)后才刷盤(pán)
_IOLBF：行緩沖模式，一行寫(xiě)滿(mǎn)就刷盤(pán)
_IONBF：不緩沖，直接刷

當(dāng)前 PG 采用第二種行緩沖模式，優(yōu)點(diǎn)是日志出來(lái)的即時(shí)性更高，缺點(diǎn)就是對(duì)性能有不小的影響。

日志輪轉(zhuǎn)

日志輪轉(zhuǎn)的邏輯設(shè)計(jì)雖然勉強(qiáng)算是合理的（不會(huì)丟日志），但是理解成本很高，且有可能出現(xiàn)某個(gè)日志文件存在了非常非常久（上一節(jié)問(wèn)題 4 的變種），一直沒(méi)被刪掉，需要依賴(lài)人工手動(dòng)刪除。