排查服務(wù)器異常流量教程詳解
引言
這篇文章將介紹當(dāng)WEB服務(wù)器報(bào)警,提示磁盤使用率問題和帶寬滿載時(shí)的一些排查思路和解決方案。
首先,我們一定要配置服務(wù)器的云監(jiān)控,如果是云廠商的服務(wù)器都有監(jiān)控服務(wù),開通即可。
如果是自建機(jī)房,監(jiān)控報(bào)警策略也是必須搭建的。
磁盤使用率報(bào)警
原因分析
- 日志沒有及時(shí)遷移或清理
- 程序異常輸出了大量的垃圾文件
- 掛載的硬盤存儲(chǔ)空間不足,不適應(yīng)業(yè)務(wù)發(fā)展,需要掛載新的磁盤。
解決方案
1. 日志遷移或清理
我們需要Nginx日志和項(xiàng)目運(yùn)行中的關(guān)鍵日志,方便定位問題、數(shù)據(jù)分析。
日志遷移的思路很簡單,目前主流的云廠商都支持日志遷移和存儲(chǔ)服務(wù),且成本不高。
如果是自建的服務(wù),可以掛載專門的存儲(chǔ)硬盤,不和業(yè)務(wù)服務(wù)器耦合在一起,將日志進(jìn)行單獨(dú)存儲(chǔ)。
2. 日志清理
- 切換到根目錄
cd /
- 查找到大文件,比如找到大于100M的文件
find . size +100M
- 沒用的日志大文件置為空(不要直接刪除,正在被使用的文件是無法直接刪除的)
cat /dev/null > /data/logs/php-fpm/error.log
網(wǎng)站流量異常,一直在報(bào)警
當(dāng)網(wǎng)站流量報(bào)警時(shí)喜憂參半,如果是因?yàn)楦慊顒?dòng)或者網(wǎng)站內(nèi)容命中了熱點(diǎn),被搜索引擎推薦,那真是像買彩票中獎(jiǎng)一樣高興。
不過,大多數(shù)情況,網(wǎng)站在毫無預(yù)兆的情況下突然打滿帶寬,大概率是被惡意攻擊了。
下面介紹一下我的排查思路
首先我登錄了網(wǎng)站的統(tǒng)計(jì)服務(wù)平臺(tái),發(fā)現(xiàn)PV/UV等關(guān)鍵數(shù)據(jù)并沒有太大變化,但是服務(wù)器的帶寬卻被打滿了,說明異常流量不是通過刷網(wǎng)站頁面導(dǎo)致的,可能是通過刷接口導(dǎo)致的。
通過分析日志排查異常流量
首先切換到日志目錄,比如我的目錄是
cd /data/logs/nginx
查看訪問最頻繁的前10個(gè)IP
awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 10
分析結(jié)果:
- 發(fā)現(xiàn)訪問量最高的ip是自身服務(wù)器的外網(wǎng)ip
- 發(fā)現(xiàn)有一組美國谷歌云的異常訪問
- 發(fā)現(xiàn)有一個(gè)北京xx網(wǎng)的異常訪問
- 其他基本是正常流量
解決異常流量
公網(wǎng)ip訪問量最大:
這是一個(gè)N年前的老項(xiàng)目,開發(fā)時(shí)是有一些知識(shí)盲點(diǎn)的,沒有考慮到內(nèi)網(wǎng)傳輸要比外網(wǎng)傳輸?shù)乃俣瓤旌芏唷?/p>
通過下面的方式替換了外網(wǎng)傳輸為內(nèi)網(wǎng)傳輸:
- 項(xiàng)目中的外網(wǎng)ip替換為內(nèi)網(wǎng)ip(發(fā)現(xiàn)項(xiàng)目代碼并沒有直接訪問外網(wǎng)ip,而是訪問了子項(xiàng)目的域名)
- 配置Linux服務(wù)器的host
# 打開Linux的hosts配置文件 vim /etc/hosts # 將項(xiàng)目中請(qǐng)求的多個(gè)域名解析到本地的ip地址 127.0.0.1 多個(gè)域名用空格分隔
優(yōu)化完內(nèi)網(wǎng)傳輸之后,就開始最重要的事情了:
封禁惡意ip
- 創(chuàng)建(打開)黑名單配置文件
vim /etc/nginx/blackip.conf
- 將black.conf添加到nginx.conf中 (代碼段中的...代表省略的內(nèi)容)
http{ . . . #ip黑名單 include /etc/nginx/blackip.conf; . . . }
- 添加要封禁的黑名單
#屏蔽單個(gè)ip訪問 deny IP; #允許單個(gè)ip訪問 allow IP; #屏蔽所有ip訪問 deny all; #允許所有ip訪問 allow all; #屏蔽整個(gè)段:從127.0.0.1到127.255.255.254 deny 127.0.0.0/8; #屏蔽IP段:從127.45.0.1到127.45.255.254 deny 127.45.0.0/16; #屏蔽IP段:從127.45.6.1到127.45.6.254 deny 127.45.6.0/24;
- 重啟Nginx服務(wù)
nginx -s reload
停掉不用的服務(wù)
在查詢Nginx的log時(shí),發(fā)現(xiàn)一些不再用的服務(wù)仍然有請(qǐng)求日志。
果斷停掉這些服務(wù)。
統(tǒng)計(jì)訪問最多的url 前10名
cat access.log |awk '{print $7}'| sort|uniq -c| sort -rn| head -10 | more
封禁了不再使用url
- 小程序接口封禁
- 網(wǎng)站快報(bào)相關(guān)的接口封禁
優(yōu)化結(jié)果
在進(jìn)行上述操作后,收到了服務(wù)器報(bào)警恢復(fù)正常的短信通知。
今天早晨登錄服務(wù)器監(jiān)控后臺(tái),發(fā)現(xiàn)效果是灰常明顯的:
紅線左側(cè)是處理異常流量前的帶寬波動(dòng)圖,右側(cè)是處理后的波動(dòng)圖,淺色波動(dòng)線是昨天的流量情況。
總結(jié)
這是7年前剛?cè)胄袝r(shí)做的項(xiàng)目,單機(jī)部署,排查思路比較簡單清晰:查日志,封ip。
在微服務(wù)+分布式成為主流的今天,又要用哪些思路和工具排查問題呢?
以上就是排查服務(wù)器異常流量教程詳解的詳細(xì)內(nèi)容,更多關(guān)于排查服務(wù)器異常流量的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
nginx反向代理https內(nèi)部定向到http報(bào)302的問題及解決
這篇文章主要介紹了nginx反向代理https內(nèi)部定向到http報(bào)302的問題及解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12zabbix配置nginx監(jiān)控的實(shí)現(xiàn)
本文主要介紹了zabbix配置nginx監(jiān)控的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05nginx添加nginx-sticky-module模塊步驟的實(shí)現(xiàn)
nginx-sticky-module模塊是nginx實(shí)現(xiàn)負(fù)載均衡的一種方案,和ip_hash負(fù)載均衡算法會(huì)有區(qū)別的,本文主要介紹了nginx添加nginx-sticky-module模塊步驟的實(shí)現(xiàn),感興趣的可以了解一下2023-08-08在Nginx服務(wù)器上配置Google反向代理的基本方法
這篇文章主要介紹了在Nginx服務(wù)器上配置Google反向代理的基本方法,文中使用到了SSL來加密反向代理,需要的朋友可以參考下2015-12-12簡單了解Nginx七層負(fù)載均衡的幾種調(diào)度算法
這篇文章主要介紹了簡單了解Nginx七層負(fù)載均衡的幾種調(diào)度算法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11nginx自定義變量與內(nèi)置預(yù)定義變量的使用
這篇文章主要介紹了nginx自定義變量與內(nèi)置預(yù)定義變量的使用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06