nginx修改配置限制惡意爬蟲頻率
更新時(shí)間：2016年08月25日 10:56:50 投稿：daisy
這篇文章主要介紹在nginx中怎樣修改相關(guān)配置，以限制惡意爬蟲頻率的方法，有需要的朋友參考下。
如何在nginx中限制惡意網(wǎng)絡(luò)爬蟲抓取內(nèi)容呢？也就是限制下惡意爬蟲的抓取頻率。下面來一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活，可以動態(tài)設(shè)定一個(gè)爬蟲的頻率，達(dá)到減輕服務(wù)器負(fù)載，并且不至于封殺爬蟲。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某個(gè)server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超過設(shè)置的限定頻率，就會給spider一個(gè)503。
總結(jié)
以上就是nginx修改配置限制惡意爬蟲頻率的全部內(nèi)容，希望對大家的工作和學(xué)習(xí)能有所幫助，如果有疑問可以留言交流。
相關(guān)文章
本文主要介紹了nginx之內(nèi)存池的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
本文為大家介紹一下nginx配置的相關(guān)介紹，供大家參考2013-02-02
這篇文章主要介紹了阿里云ssl證書通過Nginx部署到服務(wù)器的方法,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-03-03
Nginx反向代理多個(gè)服務(wù)器的實(shí)現(xiàn)方法
這篇文章主要介紹了Nginx反向代理多個(gè)服務(wù)器的實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
Nginx 是一個(gè)輕量級的高性能 Http WebServer，以事件驅(qū)動方式編寫，因此相比 Apache 而言，Nginx 更加穩(wěn)定、性能更好，而且配置簡單，資源占用較低。2010-06-06
ELK與Grafana聯(lián)合打造可視化監(jiān)控來分析nginx日志
這篇文章主要為大家介紹了ELK與Grafana的聯(lián)合打造可視化監(jiān)控來分析nginx日志，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-03-03
本文主要介紹一些Nginx的最基本功能以及簡單配置，但不包括Nginx的安裝部署以及實(shí)現(xiàn)原理。有興趣的可以了解一下。2016-12-12
nginx_upstream_check_module是一個(gè)Nginx的第三方模塊，它可以實(shí)現(xiàn) Nginx的主動健康檢查功能，本文將介紹一個(gè)基于 Nginx 的第三方模塊 nginx_upstream_check_module，它可以實(shí)現(xiàn) Nginx 的主動健康檢查功能，可以幫助我們更加有效地管理后端服務(wù)器，需要的朋友可以參考下2023-05-05
本文主要介紹了Nginx之帶寬限制的實(shí)現(xiàn)示例,一般使用limit_rate指令來限制響應(yīng)傳輸?shù)娇蛻舳说乃俾?具有一定的參考價(jià)值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了Nginx源碼安裝的方法步驟，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-06-06