引言

這篇文章將介紹當(dāng)WEB服務(wù)器報(bào)警，提示磁盤(pán)使用率問(wèn)題和帶寬滿載時(shí)的一些排查思路和解決方案。

首先，我們一定要配置服務(wù)器的云監(jiān)控，如果是云廠商的服務(wù)器都有監(jiān)控服務(wù)，開(kāi)通即可。

如果是自建機(jī)房，監(jiān)控報(bào)警策略也是必須搭建的。

磁盤(pán)使用率報(bào)警

原因分析

• 日志沒(méi)有及時(shí)遷移或清理
• 程序異常輸出了大量的垃圾文件
• 掛載的硬盤(pán)存儲(chǔ)空間不足，不適應(yīng)業(yè)務(wù)發(fā)展，需要掛載新的磁盤(pán)。

解決方案

1. 日志遷移或清理

我們需要Nginx日志和項(xiàng)目運(yùn)行中的關(guān)鍵日志，方便定位問(wèn)題、數(shù)據(jù)分析。

日志遷移的思路很簡(jiǎn)單，目前主流的云廠商都支持日志遷移和存儲(chǔ)服務(wù)，且成本不高。

如果是自建的服務(wù)，可以掛載專門(mén)的存儲(chǔ)硬盤(pán)，不和業(yè)務(wù)服務(wù)器耦合在一起，將日志進(jìn)行單獨(dú)存儲(chǔ)。

2. 日志清理

• 切換到根目錄

cd /

• 查找到大文件，比如找到大于100M的文件

find . size +100M

• 沒(méi)用的日志大文件置為空(不要直接刪除，正在被使用的文件是無(wú)法直接刪除的)

cat /dev/null > /data/logs/php-fpm/error.log

網(wǎng)站流量異常，一直在報(bào)警

當(dāng)網(wǎng)站流量報(bào)警時(shí)喜憂參半，如果是因?yàn)楦慊顒?dòng)或者網(wǎng)站內(nèi)容命中了熱點(diǎn)，被搜索引擎推薦，那真是像買(mǎi)彩票中獎(jiǎng)一樣高興。

不過(guò)，大多數(shù)情況，網(wǎng)站在毫無(wú)預(yù)兆的情況下突然打滿帶寬，大概率是被惡意攻擊了。

下面介紹一下我的排查思路

首先我登錄了網(wǎng)站的統(tǒng)計(jì)服務(wù)平臺(tái)，發(fā)現(xiàn)PV/UV等關(guān)鍵數(shù)據(jù)并沒(méi)有太大變化，但是服務(wù)器的帶寬卻被打滿了，說(shuō)明異常流量不是通過(guò)刷網(wǎng)站頁(yè)面導(dǎo)致的，可能是通過(guò)刷接口導(dǎo)致的。

通過(guò)分析日志排查異常流量

首先切換到日志目錄，比如我的目錄是

cd /data/logs/nginx

查看訪問(wèn)最頻繁的前10個(gè)IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 10

分析結(jié)果：

• 發(fā)現(xiàn)訪問(wèn)量最高的ip是自身服務(wù)器的外網(wǎng)ip
• 發(fā)現(xiàn)有一組美國(guó)谷歌云的異常訪問(wèn)
• 發(fā)現(xiàn)有一個(gè)北京xx網(wǎng)的異常訪問(wèn)
• 其他基本是正常流量

解決異常流量

公網(wǎng)ip訪問(wèn)量最大：

這是一個(gè)N年前的老項(xiàng)目，開(kāi)發(fā)時(shí)是有一些知識(shí)盲點(diǎn)的，沒(méi)有考慮到內(nèi)網(wǎng)傳輸要比外網(wǎng)傳輸?shù)乃俣瓤旌芏唷?/p>

通過(guò)下面的方式替換了外網(wǎng)傳輸為內(nèi)網(wǎng)傳輸：

• 項(xiàng)目中的外網(wǎng)ip替換為內(nèi)網(wǎng)ip（發(fā)現(xiàn)項(xiàng)目代碼并沒(méi)有直接訪問(wèn)外網(wǎng)ip，而是訪問(wèn)了子項(xiàng)目的域名）
• 配置Linux服務(wù)器的host

# 打開(kāi)Linux的hosts配置文件
vim /etc/hosts
# 將項(xiàng)目中請(qǐng)求的多個(gè)域名解析到本地的ip地址
127.0.0.1 多個(gè)域名用空格分隔

優(yōu)化完內(nèi)網(wǎng)傳輸之后，就開(kāi)始最重要的事情了：

封禁惡意ip

• 創(chuàng)建（打開(kāi)）黑名單配置文件

 vim /etc/nginx/blackip.conf

• 將black.conf添加到nginx.conf中 (代碼段中的...代表省略的內(nèi)容)

http{
.
.
.
    #ip黑名單
    include /etc/nginx/blackip.conf;
.
.
.
}

• 添加要封禁的黑名單

#屏蔽單個(gè)ip訪問(wèn)
deny IP; 
#允許單個(gè)ip訪問(wèn)
allow IP; 
#屏蔽所有ip訪問(wèn)
deny all; 
#允許所有ip訪問(wèn)
allow all; 
#屏蔽整個(gè)段：從127.0.0.1到127.255.255.254
deny 127.0.0.0/8;
#屏蔽IP段：從127.45.0.1到127.45.255.254
deny 127.45.0.0/16;
#屏蔽IP段：從127.45.6.1到127.45.6.254
deny 127.45.6.0/24;

• 重啟Nginx服務(wù)

nginx -s reload

停掉不用的服務(wù)

在查詢Nginx的log時(shí)，發(fā)現(xiàn)一些不再用的服務(wù)仍然有請(qǐng)求日志。

果斷停掉這些服務(wù)。

統(tǒng)計(jì)訪問(wèn)最多的url 前10名

cat access.log |awk '{print $7}'| sort|uniq -c| sort -rn| head -10 | more

封禁了不再使用url

• 小程序接口封禁
• 網(wǎng)站快報(bào)相關(guān)的接口封禁

優(yōu)化結(jié)果

在進(jìn)行上述操作后，收到了服務(wù)器報(bào)警恢復(fù)正常的短信通知。

今天早晨登錄服務(wù)器監(jiān)控后臺(tái)，發(fā)現(xiàn)效果是灰常明顯的：

紅線左側(cè)是處理異常流量前的帶寬波動(dòng)圖，右側(cè)是處理后的波動(dòng)圖，淺色波動(dòng)線是昨天的流量情況。

總結(jié)

這是7年前剛?cè)胄袝r(shí)做的項(xiàng)目，單機(jī)部署，排查思路比較簡(jiǎn)單清晰：查日志，封ip。

在微服務(wù)+分布式成為主流的今天，又要用哪些思路和工具排查問(wèn)題呢？

以上就是排查服務(wù)器異常流量教程詳解的詳細(xì)內(nèi)容，更多關(guān)于排查服務(wù)器異常流量的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論