Nginx日志的自動(dòng)封異常ip和解封腳本方式
Nginx日志的自動(dòng)封異常ip和解封腳本
設(shè)計(jì)思路
1.每五分鐘統(tǒng)計(jì)一次日志異常ip
2.被封的異常ip一小時(shí)后自動(dòng)解封
3.盡量減少對(duì)Nginx的重啟,完成全部判斷后再去考慮是否重啟Nginx進(jìn)程
4.黑名單ip采用非iptable,使用將deny+ip語(yǔ)句加入blockip.conf中(后期解封比較好處理),并且在上述語(yǔ)句塊中nginx.conf中include此文件(blockip.conf可以根據(jù)需要放入http 語(yǔ)句塊、server 語(yǔ)句塊、location 語(yǔ)句塊)
5.blockip.conf設(shè)計(jì)為deny + ip + ;號(hào) + #號(hào) + 時(shí)間戳(五個(gè)可以分割的值)
程序流程圖
程序有兩個(gè)腳本組成
1.python寫的blockip.conf中的ip根據(jù)時(shí)間戳去解封(簡(jiǎn)稱sub),返回一個(gè)是夠要重啟的信號(hào)給shell
2.shell寫的根據(jù)最近五分鐘訪問超過(guò)100次(生產(chǎn)環(huán)境建議改成500-1000)的ip,加入到blockip.conf,根據(jù)是否有新ip加入和sub返回值判斷Nginx是否需要重啟
腳本
1.nginx_black.sh
#/bin/bash
#/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py
reload1=$(/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py) ##調(diào)用python腳本,是否返回重啟
reload2=nores ##默認(rèn)值不重啟
#echo "$reload1"
sleep 1s
my_log=/root/ai2/log.txt
#logfile=/root
logfile=/usr/local/tengine/logs ##Nginx日志
confdir=/usr/local/tengine/conf/blockip.conf ##Nginx的blockip.conf目錄
time_sjc=$(date -d now +%s) ##獲取時(shí)間戳
my_log_date=`date +"%Y-%m-%d %H:%M:%S"` ##日志記錄時(shí)間
start_time=`date -d "-5min" +"%H:%M:%S"` ##start_time-stop_time的值為Nginx統(tǒng)計(jì)日志的時(shí)間為5分鐘
#echo "$start_time"
stop_time=`date +"%H:%M:%S"`
#echo "$stop_time"
#過(guò)濾出單位之間內(nèi)的日志并統(tǒng)計(jì)最高ip數(shù),請(qǐng)?zhí)鎿Q為你的日志路徑
tac $logfile/host.access.log | awk -v st="$start_time" -v et="$stop_time" ' {t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' |awk '{print $1}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" |sort | uniq -c | sort -nr |head -20> $logfile/log_ip_top20
ip=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}'` ##統(tǒng)計(jì)排名前10的ip訪問次數(shù),100次以上加入黑名單
ip_tmp=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}' |head -1` ##用于if判斷去首行,多行會(huì)報(bào)錯(cuò)
##echo "$ip"
if [ "$ip_tmp" = "" ];then ##如果ip_tmp為空,打印沒有黑名單ip
echo "$my_log_date no black ip " >> $my_log
else
# for line in $ip ##按行讀取黑名單ip,按格式加入到blockip.conf和日志
# do
# echo "deny $line ; # $time_sjc" >> $confdir
# echo "$my_log_date deny $line " >> $my_log
# done
# #/usr/local/tengine/sbin/nginx -s reload
# reload2=res ##賦值reload2 需要重啟
for line in $ip ##按行讀取黑名單ip,按格式加入到blockip.conf和日志
do
if [ `grep -c "$line" $confdir` -eq '0' ];then
echo "deny $line ; # $time_sjc" >> $confdir
echo "$my_log_date deny $line " >> $my_log
reload2=res
else
#line_uptime="deny $line ; # $time_sjc"
#sed -e "s/.*'$line'.*$/$line_uptime/g" $confdir
sed -i /"$line"/d "$confdir"
echo "deny $line ; # $time_sjc" >> $confdir
echo "$my_log_date $line is in conf" >> $my_log
fi
done
fi
#echo "$reload1"
#echo "$reload2"
##如果reload1或者reload2都為res則重啟,否則不重啟;
if [ "$reload1" = "res" ] || [ "$reload2" = "res" ];then
/usr/local/tengine/sbin/nginx -s reload ##替換自己的Nginx環(huán)境變量
echo "$my_log_date Nginx reload" >> $my_log
else
echo "$my_log_date Nginx no reload" >> $my_log
fi
2.sub_oldip.py
#!/usr/bin/python3
# chenzhenhua
import string,time,os
time_now = int(time.time())
log_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
dir = "/usr/local/tengine/conf/blockip.conf" ##修改自己的blockip.conf地址
f_log = open("/root/ai2/log.txt","a") ##本程序日志
with open(dir,"r",encoding="utf-8") as f: ##讀取blockip.conf
lines = f.readlines()
#print(lines)
with open(dir,"w",encoding="utf-8") as f2: ##把日期小于3600的ip重新寫入回blockip.conf
for line in lines:
if line == '' or line == '\n':
continue
else:
old_time = int(line.strip().split()[4]) ##取第五個(gè)值,然后和現(xiàn)在時(shí)間挫進(jìn)行對(duì)比
time_sjc = time_now -old_time
ipadd = line.split()[1]
if time_sjc > 3600: ###根據(jù)要求調(diào)整秒數(shù),秒數(shù)大于次值不再重新寫入blockip.conf
line_log = line.strip().split()[1]
f_log.write("%s sub %s \n"%(log_time,line_log ) )
continue
else:
f2.write(line)
f2.close()
with open(dir,"r",encoding="utf-8") as f3:
lines2 = f3.readlines()
f3.close()
#time.sleep(0.5)
if lines2 == lines: ###對(duì)比新、老blockip.conf是否一致
f_log.write("%s py over retrun nores \n" % (log_time))
# time.sleep(0.5)
print('nores') ##返回shell不要求重啟
else:
f_log.write("%s py over retrun res \n" % (log_time))
# time.sleep(0.5)
print('res') ##返回shell不要求重啟
f_log.close()測(cè)試
加入每五分鐘執(zhí)行一次
[root@Zabbix ~]# crontab -e */5 * * * * /root/ai2/nginx_black.sh
其他服務(wù)器進(jìn)行ab測(cè)試,沒有的百度安裝
ab -c 10 -n 100 http://172.16.3.89/test2/
再回到本機(jī)進(jìn)行查看,發(fā)現(xiàn)已經(jīng)加入黑名單中
[root@Zabbix logs]# tail -f /root/ai2/log.txt 2021-08-14 18:15:02 Nginx no reload 2021-08-14 18:20:01 py over retrun nores 2021-08-14 18:20:02 no black ip 2021-08-14 18:20:02 Nginx no reload 2021-08-14 18:25:01 py over retrun nores 2021-08-14 18:25:02 no black ip 2021-08-14 18:25:02 Nginx no reload 2021-08-14 18:30:01 py over retrun nores 2021-08-14 18:30:02 deny 192.168.200.244 2021-08-14 18:30:02 Nginx reload
[root@Zabbix logs]# cat /usr/local/tengine/conf/blockip.conf deny 192.168.200.244 ; # 1628937002
我們?cè)偃偛臿b測(cè)試服務(wù)器進(jìn)行curl查看,已經(jīng)返回403
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
django8.5?項(xiàng)目部署Nginx的操作步驟
nginx是一個(gè)開源的,支持高性能,高并發(fā)的www服務(wù)和代理服務(wù)軟件。它是一個(gè)俄羅斯人lgor sysoev開發(fā)的,作者將源代碼開源出來(lái)供全球使用,下面小編給大家?guī)?lái)了django8.5?項(xiàng)目部署Nginx的操作步驟,感興趣的朋友一起看看吧2022-01-01
在nginx中配置pathinfo模式支持thinkphp的URL重寫
這篇文章主要介紹了在nginx中配置pathinfo模式的例子,用來(lái)支持thinkphp的URL重寫,并解決了thinkphp一個(gè)路徑問題,需要的朋友可以參考下2014-04-04
Nginx七層負(fù)載均衡的實(shí)現(xiàn)示例
七層負(fù)載均衡它是在應(yīng)用層,那么它可以完成很多應(yīng)用方面的協(xié)議請(qǐng)求,本文主要介紹了Nginx七層負(fù)載均衡的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2024-04-04
使用nginx正向代理實(shí)現(xiàn)內(nèi)網(wǎng)域名轉(zhuǎn)發(fā)過(guò)程解析
這篇文章主要介紹了使用nginx正向代理實(shí)現(xiàn)內(nèi)網(wǎng)域名轉(zhuǎn)發(fā)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Nginx設(shè)置HttpOnly Secure SameSite參數(shù)解決Cookie信息丟失
本文主要介紹了Nginx中Cookie缺少SameSite屬性的問題,并詳細(xì)解釋了HttpOnly、Secure和SameSite屬性的作用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-11-11
nginx支持帶下劃線的header實(shí)現(xiàn)
如果header name中包含下劃線,則忽略掉,本文主要介紹了nginx支持帶下劃線的header實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-08-08
Nginx服務(wù)器中強(qiáng)制使用緩存的配置及緩存優(yōu)先級(jí)的講解
這篇文章主要介紹了Nginx服務(wù)器中強(qiáng)制使用緩存的配置及緩存優(yōu)先級(jí)的講解,一定程度上可以幫助大家解決Nginx不緩存或緩存失效的問題,需要的朋友可以參考下2016-01-01

