PostgreSQL數(shù)據(jù)庫如何定期清理歸檔(pg_wal)日志
運行了5個月的數(shù)據(jù)庫,突然發(fā)現(xiàn)服務器磁盤快滿了,一看是歸檔日志很大,打算寫個腳本在不影響數(shù)據(jù)庫運行的情況下定期清理PostgreSQL中的archive日志。
我的postgresql.conf中的歸檔日志配置(不做配置的話默認歸檔日志在pg_wal中):
archive_mode = on archive_command = 'cp %p /home/archive/%f'
1. 清理方法
讀取控制文件以確定可以清理的WAL(Write-Ahead Logging)文件范圍??梢允褂胮g_controldata命令來獲取這些信息。
pg_controldata $PGDATA
將顯示當前可以刪除的WAL文件的范圍。
下圖中表示:000000010000003700000007這個文件之前的文件都可以刪除了
也可以通過pg_archivecleanup清理(前提是沒有配置archive_command路徑,使用默認路徑pg_log)
執(zhí)行如下命令將會清除000000010000003700000007之前的所有日志。
pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007
PS:我自己是直接用下面的腳本清理,很好用!定時任務:每周5的凌晨2點執(zhí)行
0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1
2. 定期清理archive日志腳本
#!/bin/bash # 設置歸檔目錄路徑 archive_directory="/home/archive" TIME="$(date +%Y-%m-%d-%H-%M)" # 執(zhí)行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值 result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file") value=$(echo "$result" | awk '{print $6}') # 輸出結(jié)果 echo "時間:$TIME" echo "Latest checkpoint's REDO WAL file: $value" #查詢15天之前的所有日志,判斷是否存在未完成歸檔日志(一般查詢1天以后的日志都是不存在的,根據(jù)自己需要修改),都可以直接刪除 file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value` if [ "$file" != "" ]; then echo "存在未完成歸檔的日志,不能刪除" echo $file exit 1 else echo "可以清理已完成歸檔日志操作" #清理15天以前的歸檔日志 find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \; fi
附:在生產(chǎn)環(huán)境中,數(shù)據(jù)庫都需要開啟歸檔模式,那么PG該如何開始歸檔呢?
PG中歸檔配置涉及幾個參數(shù):
# - Archiving - #是否開啟歸檔 #archive_mode = off # enables archiving; off, on, or always # (change requires restart) #歸檔命令,注意 %p %f %% 格式化的含義。 #%p 是被歸檔的redo文件的路徑, #%f 是被歸檔的redo文檔的文件名 #%% 是百分號 #archive_command = '' # command to use to archive a logfile segment # placeholders: %p = path of file to archive # %f = file name only # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f' #超時強制歸檔,例:如果10分鐘數(shù)據(jù)庫都沒有什么活動,一個redo文件沒有寫完,就不會歸檔, #但是我們希望數(shù)據(jù)庫至少10分鐘要切換一個日志,則可以使用archive_timeout #archive_timeout = 0 # force a logfile segment switch after this # number of seconds; 0 disables
1、創(chuàng)建歸檔目錄
[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/
2、配置歸檔相關參數(shù)postgresql.conf
wal_level = replica archive_mode = on archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'
3、重啟數(shù)據(jù)庫,然后查看歸檔配置是否生效
postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');
總結(jié)
到此這篇關于PostgreSQL數(shù)據(jù)庫如何定期清理歸檔(pg_wal)日志的文章就介紹到這了,更多相關PostgreSQL定期清理歸檔日志內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
PostgreSQL樹形結(jié)構(gòu)的遞歸查詢示例
這篇文章主要給大家介紹了關于PostgreSQL樹形結(jié)構(gòu)的遞歸查詢的相關資料,文中通過示例代碼介紹的非常詳細,對大家學習或者使用PostgreSQL具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧2019-05-05postgresql關于like%xxx%的優(yōu)化操作
這篇文章主要介紹了postgresql關于like%xxx%的優(yōu)化操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01解決PostgreSQL數(shù)據(jù)遷移過程中的數(shù)據(jù)類型不匹配問題
在數(shù)據(jù)遷移的過程中,經(jīng)常會遇到源數(shù)據(jù)庫和目標數(shù)據(jù)庫之間的數(shù)據(jù)類型不匹配的情況,對于 PostgreSQL 數(shù)據(jù)庫來說,處理這種數(shù)據(jù)類型不匹配問題需要一些特定的策略和技巧,需要的朋友可以參考下2024-07-07PostgreSQL pg_archivecleanup與清理archivelog的操作
這篇文章主要介紹了PostgreSQL pg_archivecleanup與清理archivelog的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01PostgreSQL實現(xiàn)批量插入、更新與合并操作的方法
這篇文章主要給大家介紹了關于PostgreSQL實現(xiàn)批量插入、更新與合并操作的相關資料,文中通過圖文以及示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧2019-02-02sqoop 實現(xiàn)將postgresql表導入hive表
這篇文章主要介紹了sqoop 實現(xiàn)將postgresql表導入hive表,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12PostgreSQL 自定義自動類型轉(zhuǎn)換操作(CAST)
這篇文章主要介紹了PostgreSQL 自定義自動類型轉(zhuǎn)換操作(CAST),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01