nginx修改配置限制惡意爬蟲(chóng)頻率
如何在nginx中限制惡意網(wǎng)絡(luò)爬蟲(chóng)抓取內(nèi)容呢?也就是限制下惡意爬蟲(chóng)的抓取頻率。下面來(lái)一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活,可以動(dòng)態(tài)設(shè)定一個(gè)爬蟲(chóng)的頻率,達(dá)到減輕服務(wù)器負(fù)載,并且不至于封殺爬蟲(chóng)。
#全局配置 limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m; #某個(gè)server中 limit_req zone=anti_spider burst=30 nodelay; if ($http_user_agent ~* “xxspider|xxbot”) { set $anti_spider $http_user_agent; }
超過(guò)設(shè)置的限定頻率,就會(huì)給spider一個(gè)503。
總結(jié)
以上就是nginx修改配置限制惡意爬蟲(chóng)頻率的全部?jī)?nèi)容,希望對(duì)大家的工作和學(xué)習(xí)能有所幫助,如果有疑問(wèn)可以留言交流。
- spring boot+ redis 接口訪問(wèn)頻率限制的實(shí)現(xiàn)
- Redis實(shí)戰(zhàn)記錄之限制操作頻率
- nginx限制ip訪問(wèn)頻率的實(shí)現(xiàn)示例
- nginx配置限制同一個(gè)ip的訪問(wèn)頻率方法
- Nginx 如何限制訪問(wèn)頻率,下載速率和并發(fā)連接數(shù)的方法
- 在nginx中實(shí)現(xiàn)單位時(shí)間內(nèi)限制訪問(wèn)頻率的教程
- Nginx限制搜索引擎爬蟲(chóng)頻率、禁止屏蔽網(wǎng)絡(luò)爬蟲(chóng)配置示例
- Redis和Nginx實(shí)現(xiàn)限制接口請(qǐng)求頻率的示例
相關(guān)文章
阿里云ssl證書(shū)如何通過(guò)Nginx部署到服務(wù)器
這篇文章主要介紹了阿里云ssl證書(shū)通過(guò)Nginx部署到服務(wù)器的方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-03-03Nginx反向代理多個(gè)服務(wù)器的實(shí)現(xiàn)方法
這篇文章主要介紹了Nginx反向代理多個(gè)服務(wù)器的實(shí)現(xiàn)方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02ELK與Grafana聯(lián)合打造可視化監(jiān)控來(lái)分析nginx日志
這篇文章主要為大家介紹了ELK與Grafana的聯(lián)合打造可視化監(jiān)控來(lái)分析nginx日志,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-03-03nginx主動(dòng)健康檢查功能實(shí)現(xiàn)
nginx_upstream_check_module是一個(gè)Nginx的第三方模塊,它可以實(shí)現(xiàn) Nginx的主動(dòng)健康檢查功能,本文將介紹一個(gè)基于 Nginx 的第三方模塊 nginx_upstream_check_module,它可以實(shí)現(xiàn) Nginx 的主動(dòng)健康檢查功能,可以幫助我們更加有效地管理后端服務(wù)器,需要的朋友可以參考下2023-05-05