如何使用Docker定時(shí)備份數(shù)據(jù)
更新時(shí)間：2024年04月13日 10:42:15 作者：yancqitcode
這篇文章主要介紹了如何使用Docker定時(shí)備份數(shù)據(jù),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
一、Docker鏡像制作
鏡像制作目錄
- rsyncd.conf
# https://download.samba.org/pub/rsync/rsyncd.conf.5 port 873 uid = nobody gid = nobody use chroot = yes max connections = 5 syslog facility = local5 pid file = /var/run/rsyncd.pid read only = true [backup] path = /home/backup
root
# min hour day month weekday command 0 * * * * run-parts /home/1hour 0 0 * * * run-parts /home/0Hday 0 1 * * * run-parts /home/1Hday 0 2 * * * run-parts /home/2Hday 0 3 * * * run-parts /home/3Hday 0 5 * * * run-parts /home/5Hday 0 4 * * 6 run-parts /home/1week
Dockerfile
FROM alpine:3.19.1 WORKDIR /home COPY root /var/spool/cron/crontabs/root COPY rsyncd.conf /home COPY mc /home RUN chmod +x mc RUN mkdir 1hour && mkdir 0Hday && mkdir 1Hday && mkdir 2Hday && mkdir 3Hday && mkdir 5Hday && mkdir 1week RUN echo "http://mirrors.aliyun.com/alpine/v3.19/community" > /etc/apk/repositories RUN echo "http://mirrors.aliyun.com/alpine/v3.19/main" >> /etc/apk/repositories RUN apk update && apk upgrade RUN apk --no-cache add bash mysql-client rsync tzdata RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime RUN echo "Asia/Shanghai" > /etc/timezone
鏡像制作
cd /home/dockerimg/crontab docker build --tag crontab:1.0 .
二、MySQL數(shù)據(jù)備份
backup-data-mysql.sh
#!/bin/sh
log_save_days=30 # 備份日志保留幾天
log_path=/home/logs # 備份日志路徑
log_file=backup-data-mysql.log # 備份日志名稱(chēng)
data_path=/home/backup/mysql # 備份路徑
data_dir=$(date +%Y%m) # 備份數(shù)據(jù)目錄
mysql_path=/home/mysql/data # mysql-bin.*日志存放目錄
mysql_bin=mysql-bin.index # mysql-bin.index位置
mysql_addr=192.168.1.6 # mysql地址
mysql_port=3306 # mysql端口
mysql_user=root # mysql用戶(hù)名
mysql_password=12345678 # mysql密碼
data_dir_before=$(date -d@"$(( `date +%s`-86400))" +"%Y%m")
mkdir -p /home/crontab/logs
mkdir -p $data_path/$data_dir
mkdir -p $data_path/$data_dir_before
echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "備份開(kāi)始時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
mysqladmin -h$mysql_addr -P$mysql_port -u$mysql_user -p$mysql_password flush-logs
count=`wc -l $mysql_path/$mysql_bin |awk '{print $1}'`
num=0
for file in `cat $mysql_path/$mysql_bin`
do
base=`basename $file`
num=`expr $num + 1`
if [ $num -ne $count ] && (! test -e $data_path/$data_dir/$base.log.gz) && (! test -e $data_path/$data_dir_before/$base.log.gz)
then
gzip -c $mysql_path/$base > $data_path/$data_dir/$base.log.gz
echo "備份: "$data_path/$data_dir/$base.log.gz >> $log_path/$(date +%Y%m)-$log_file
fi
done
echo "備份結(jié)束時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;三、Minio數(shù)據(jù)備份
backup-data-minio.sh
#!/bin/sh
log_save_days=30 # 備份日志保留幾天
log_path=/home/logs # 備份日志路徑
log_file=backup-data-minio.log # 備份日志名稱(chēng)
data_path=/home/backup/minio # 備份路徑
data_dir=$(date +%Y%m) # 備份數(shù)據(jù)目錄
minio_dir=$(date +%Y%m%d) # minio存儲(chǔ) 月 $(date +%Y%m) 天 $(date +%Y%m%d)
minio_addr=http://192.168.1.6:9000 # minio地址
minio_user=admin # minio用戶(hù)名
minio_password=123456 # minio密碼
minio_bucket=bucket # minio桶名稱(chēng)
mkdir -p /home/crontab/logs
mkdir -p $data_path/$data_dir
mkdir $data_path/$data_dir/tmp
echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "備份開(kāi)始時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
/home/mc alias set minio_backup $minio_addr $minio_user $minio_password
minio_bucket=test
/home/mc cp --recursive minio_backup/$minio_bucket/$minio_dir $data_path/$data_dir/tmp
cd $data_path/$data_dir/tmp
tar -zcf $data_path/$data_dir/$minio_bucket-$minio_dir.tar.gz *
rm -rf $data_path/$data_dir/tmp
echo "備份: "$data_path/$data_dir/$minio_bucket-$minio_dir.tar.gz >> $log_path/$(date +%Y%m)-$log_file
echo "備份結(jié)束時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;四、數(shù)據(jù)跨服務(wù)器傳輸
crondbase.sh
#!/bin/sh crond -f -l 8
cronddata.sh
#!/bin/sh rsync --daemon --config=/home/rsyncd.conf crond -f -l 8
rsyncd.secrets
root:password
backup-data-copy.sh
#!/bin/sh
# 只傳輸變化部分、支持?jǐn)帱c(diǎn)續(xù)傳、同步服務(wù)器都需要安裝rsync
log_save_days=30 # 日志保留幾天
log_path=/home/logs # 日志路徑
log_file=backup-data-copy.log # 日志名稱(chēng)
echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "數(shù)據(jù)傳輸開(kāi)始時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
rsync -avzP --password-file=/home/rsyncd.secrets root@192.168.6.12::backup /home/backup
echo "數(shù)據(jù)傳輸結(jié)束時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;五、Nginx日志分割
#!/bin/sh
log_save_days=30 # 備份日志保留幾天
log_path=/home/logs # 備份日志路徑
log_file=backup-log-nginx.log # 備份日志名稱(chēng)
data_save_days=60 # 備份保留幾天
data_path=/home/nginx/logs # 備份路徑
mkdir -p /home/crontab/logs
mkdir -p /home/nginx/logs/access
mkdir -p /home/nginx/logs/error
echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "備份開(kāi)始時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
for item in "access" "error"
do
gzip -c $data_path/$item.log > $data_path/$item/$(date -d@"$(( `date +%s`-3600))" +"%Y-%m-%d")_$item.log.gz
echo "備份: "$data_path/$item/$(date -d@"$(( `date +%s`-3600))" +"%Y-%m-%d")_$item.log.gz >> $log_path/$(date +%Y%m)-$log_file
rm -rf $data_path/$item.log && touch $data_path/$item.log
done
find $data_path/$item -type f -name "*.gz" -mtime +$data_save_days -exec rm -rf {} \;
echo "備份結(jié)束時(shí)間: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;六、Docker啟動(dòng)
/home/docker/crontab
數(shù)據(jù)庫(kù)服務(wù)器
docker-crontab-data.yaml
version: "3"
services:
crontab:
image: "crontab:1.0"
restart: always
container_name: ser-crontab
hostname: crontab
ports:
- 873:873
networks:
- apphost
environment:
TZ: "Asia/Shanghai"
volumes:
- /home/docker/crontab/backup-log-nginx.sh:/home/0Hday/backup-log-nginx.sh
- /home/docker/crontab/backup-data-mysql.sh:/home/1Hday/backup-data-mysql.sh
- /home/docker/crontab/backup-data-minio.sh:/home/2Hday/backup-data-minio.sh
- /home/docker/crontab/cronddata.sh:/home/command.sh
- /home/backup:/home/backup
- /home/docker/logs:/home/logs
- /home/nginx/logs:/home/nginx/logs
- /home/mysql/data:/home/mysql/data
command: >
sh -c "/home/command.sh"
networks:
apphost:數(shù)據(jù)備份服務(wù)器
docker-crontab-base.yaml
version: "3"
services:
crontab:
image: "crontab:1.0"
restart: always
container_name: ser-crontab
hostname: crontab
networks:
- apphost
environment:
TZ: "Asia/Shanghai"
volumes:
- /home/docker/crontab/backup-log-nginx.sh:/home/0Hday/backup-log-nginx.sh
- /home/docker/crontab/backup-data-copy.sh:/home/3Hday/backup-data-copy.sh
- /home/docker/crontab/rsyncd.secrets:/home/rsyncd.secrets
- /home/docker/crontab/crondbase.sh:/home/command.sh
- /home/backup:/home/backup
- /home/docker/logs:/home/logs
- /home/nginx/logs:/home/nginx/logs
command: >
sh -c "/home/command.sh"
networks:
apphost:數(shù)據(jù)庫(kù)服務(wù)器啟動(dòng)
mkdir -p /home/docker/crontab && mkdir -p /home/docker/logs cd /home/docker/crontab && chmod 777 *.* && chmod 600 rsyncd.secrets docker-compose -f /home/docker/crontab/docker-crontab-data.yaml -p crontab up -d
數(shù)據(jù)備份服務(wù)器啟動(dòng)
mkdir -p /home/docker/crontab && mkdir -p /home/docker/logs cd /home/docker/crontab && chmod 777 *.* && chmod 600 rsyncd.secrets docker-compose -f /home/docker/crontab/docker-crontab-base.yaml -p crontab up -d
七、Docker備份日志
/home/docker/logs/202404-backup-data-copy.log
數(shù)據(jù)傳輸開(kāi)始時(shí)間: 2024-04-12 03:00:00 數(shù)據(jù)傳輸結(jié)束時(shí)間: 2024-04-12 03:00:00
/home/docker/logs/202404-backup-log-nginx.log
備份開(kāi)始時(shí)間: 2024-04-12 00:00:00 備份: /home/nginx/logs/access/2024-04-11_access.log.gz 備份: /home/nginx/logs/error/2024-04-11_error.log.gz 備份結(jié)束時(shí)間: 2024-04-12 00:00:00
/home/docker/logs/202404-backup-data-minio.log
備份開(kāi)始時(shí)間: 2024-04-12 02:00:00 備份: /home/backup/minio/202404/test-20240412.tar.gz 備份結(jié)束時(shí)間: 2024-04-12 02:00:00
/home/docker/logs/202404-backup-data-mysql.log
備份開(kāi)始時(shí)間: 2024-04-12 01:00:00 備份: /home/backup/mysql/202404/mysql-bin.000041.log.gz 備份結(jié)束時(shí)間: 2024-04-12 01:00:03
到此這篇關(guān)于使用Docker定時(shí)備份數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Docker定時(shí)備份數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
這篇文章主要介紹了Docker 中的容器完全解析的相關(guān)資料,需要的朋友可以參考下2017-05-05
這篇文章主要介紹了docker容器如何指定utf-8編碼問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
這篇文章主要介紹了Docker容器連接相互通信的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
docker中的jenkins之流水線構(gòu)建項(xiàng)目步驟詳解
jenkins有2種流水線分為聲明式流水線與腳本化流水線，腳本化流水線是jenkins舊版本使用的流水線腳本，新版本Jenkins推薦使用聲明式流水線，本文給大家介紹docker中的jenkins之流水線構(gòu)建項(xiàng)目，感興趣的朋友一起看看吧2023-08-08
Docker 教程之?dāng)?shù)據(jù)管理詳細(xì)介紹
這篇文章主要介紹了Docker 教程之?dāng)?shù)據(jù)管理詳細(xì)介紹的相關(guān)資料,需要的朋友可以參考下2017-01-01
centos6使用docker部署zookeeper操作示例
這篇文章主要介紹了centos6使用docker部署zookeeper操作,結(jié)合實(shí)例形式分析了centos6平臺(tái)使用docker部署zookeeper相關(guān)命令與使用技巧,需要的朋友可以參考下2020-02-02
本文主要介紹了docker鏡像導(dǎo)入導(dǎo)出的兩種方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
這篇文章主要給大家介紹了關(guān)于docker從容器中訪問(wèn)到宿主機(jī)的3種方法,某些時(shí)候,我們會(huì)有在容器內(nèi)容訪問(wèn)宿主機(jī)某個(gè)服務(wù)的需求,需要的朋友可以參考下2023-10-10
用Jenkins+Docker+Maven+Git實(shí)現(xiàn)持續(xù)集成(超詳細(xì))
本文通過(guò)較大的篇幅詳細(xì)介紹了Harbor這款企業(yè)級(jí)docker管理工具的使用,并通過(guò)案例演示了如何在jenkins中配置任務(wù)集成Harbor,從而實(shí)現(xiàn)鏡像的構(gòu)建推送與分發(fā),需要的朋友可以參考下2024-04-04
這篇文章主要介紹了docker基本使用方法入門(mén)示例,包含docker命令查詢(xún)方法，查詢(xún)鏡像和下拉鏡像，本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下2024-03-03