PostgreSQL數(shù)據(jù)庫如何定期清理歸檔(pg_wal)日志
運行了5個月的數(shù)據(jù)庫,突然發(fā)現(xiàn)服務(wù)器磁盤快滿了,一看是歸檔日志很大,打算寫個腳本在不影響數(shù)據(jù)庫運行的情況下定期清理PostgreSQL中的archive日志。
我的postgresql.conf中的歸檔日志配置(不做配置的話默認(rèn)歸檔日志在pg_wal中):
archive_mode = on archive_command = 'cp %p /home/archive/%f'
1. 清理方法
讀取控制文件以確定可以清理的WAL(Write-Ahead Logging)文件范圍??梢允褂胮g_controldata命令來獲取這些信息。
pg_controldata $PGDATA
將顯示當(dāng)前可以刪除的WAL文件的范圍。
下圖中表示:000000010000003700000007這個文件之前的文件都可以刪除了
也可以通過pg_archivecleanup清理(前提是沒有配置archive_command路徑,使用默認(rèn)路徑pg_log)
執(zhí)行如下命令將會清除000000010000003700000007之前的所有日志。
pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007
PS:我自己是直接用下面的腳本清理,很好用!定時任務(wù):每周5的凌晨2點執(zhí)行
0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1
2. 定期清理archive日志腳本
#!/bin/bash # 設(shè)置歸檔目錄路徑 archive_directory="/home/archive" TIME="$(date +%Y-%m-%d-%H-%M)" # 執(zhí)行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值 result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file") value=$(echo "$result" | awk '{print $6}') # 輸出結(jié)果 echo "時間:$TIME" echo "Latest checkpoint's REDO WAL file: $value" #查詢15天之前的所有日志,判斷是否存在未完成歸檔日志(一般查詢1天以后的日志都是不存在的,根據(jù)自己需要修改),都可以直接刪除 file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value` if [ "$file" != "" ]; then echo "存在未完成歸檔的日志,不能刪除" echo $file exit 1 else echo "可以清理已完成歸檔日志操作" #清理15天以前的歸檔日志 find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \; fi
附:在生產(chǎn)環(huán)境中,數(shù)據(jù)庫都需要開啟歸檔模式,那么PG該如何開始?xì)w檔呢?
PG中歸檔配置涉及幾個參數(shù):
# - Archiving - #是否開啟歸檔 #archive_mode = off # enables archiving; off, on, or always # (change requires restart) #歸檔命令,注意 %p %f %% 格式化的含義。 #%p 是被歸檔的redo文件的路徑, #%f 是被歸檔的redo文檔的文件名 #%% 是百分號 #archive_command = '' # command to use to archive a logfile segment # placeholders: %p = path of file to archive # %f = file name only # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f' #超時強制歸檔,例:如果10分鐘數(shù)據(jù)庫都沒有什么活動,一個redo文件沒有寫完,就不會歸檔, #但是我們希望數(shù)據(jù)庫至少10分鐘要切換一個日志,則可以使用archive_timeout #archive_timeout = 0 # force a logfile segment switch after this # number of seconds; 0 disables
1、創(chuàng)建歸檔目錄
[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/
2、配置歸檔相關(guān)參數(shù)postgresql.conf
wal_level = replica archive_mode = on archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'
3、重啟數(shù)據(jù)庫,然后查看歸檔配置是否生效
postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');
總結(jié)
到此這篇關(guān)于PostgreSQL數(shù)據(jù)庫如何定期清理歸檔(pg_wal)日志的文章就介紹到這了,更多相關(guān)PostgreSQL定期清理歸檔日志內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
PostgreSQL樹形結(jié)構(gòu)的遞歸查詢示例
這篇文章主要給大家介紹了關(guān)于PostgreSQL樹形結(jié)構(gòu)的遞歸查詢的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用PostgreSQL具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05postgresql關(guān)于like%xxx%的優(yōu)化操作
這篇文章主要介紹了postgresql關(guān)于like%xxx%的優(yōu)化操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01解決PostgreSQL數(shù)據(jù)遷移過程中的數(shù)據(jù)類型不匹配問題
在數(shù)據(jù)遷移的過程中,經(jīng)常會遇到源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)類型不匹配的情況,對于 PostgreSQL 數(shù)據(jù)庫來說,處理這種數(shù)據(jù)類型不匹配問題需要一些特定的策略和技巧,需要的朋友可以參考下2024-07-07PostgreSQL pg_archivecleanup與清理archivelog的操作
這篇文章主要介紹了PostgreSQL pg_archivecleanup與清理archivelog的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01PostgreSQL實現(xiàn)批量插入、更新與合并操作的方法
這篇文章主要給大家介紹了關(guān)于PostgreSQL實現(xiàn)批量插入、更新與合并操作的相關(guān)資料,文中通過圖文以及示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02sqoop 實現(xiàn)將postgresql表導(dǎo)入hive表
這篇文章主要介紹了sqoop 實現(xiàn)將postgresql表導(dǎo)入hive表,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12PostgreSQL 自定義自動類型轉(zhuǎn)換操作(CAST)
這篇文章主要介紹了PostgreSQL 自定義自動類型轉(zhuǎn)換操作(CAST),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01PostgreSQL截取字符串到指定字符位置詳細(xì)示例
這篇文章主要給大家介紹了關(guān)于PostgreSQL截取字符串到指定字符位置的相關(guān)資料,PostgreSQL數(shù)據(jù)庫拼接字符串函數(shù)是一種非常重要的函數(shù),使用它可以方便地將不同的字符串進(jìn)行拼接操作,從而得到我們需要的結(jié)果,需要的朋友可以參考下2023-07-07