欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Nginx反爬蟲策略，防止UA抓取網(wǎng)站

 更新時(shí)間：2020年09月16日 10:22:16   作者：Mr.Yong  
目前網(wǎng)絡(luò)上的爬蟲非常多，有對網(wǎng)站收錄有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots規(guī)則對服務(wù)器造成壓力，還不能為網(wǎng)站帶來流量的無用爬蟲，為防止網(wǎng)站有可能會(huì)被別人爬，通過配置Nginx, 我們可以攔截大部分爬蟲

新增反爬蟲策略文件：

vim /usr/www/server/nginx/conf/anti_spider.conf

文件內(nèi)容

#禁止Scrapy等工具的抓取 
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { 
   return 403; 
} 
#禁止指定UA及UA為空的訪問 
if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { 
   return 403;        
} 
#禁止非GET|HEAD|POST方式的抓取 
if ($request_method !~ ^(GET|HEAD|POST)$) { 
  return 403; 
}
#屏蔽單個(gè)IP的命令是
#deny 123.45.6.7
#封整個(gè)段即從123.0.0.1到123.255.255.254的命令
#deny 123.0.0.0/8
#封IP段即從123.45.0.1到123.45.255.254的命令
#deny 124.45.0.0/16
#封IP段即從123.45.6.1到123.45.6.254的命令是
#deny 123.45.6.0/24
# 以下IP皆為流氓
#deny 58.95.66.0/24;

配置使用

在站點(diǎn)的server中引入

# 反爬蟲  
include /usr/www/server/nginx/conf/anti_spider.conf

最后重啟nginx

校驗(yàn)是否有效

模擬YYSpider

λ curl -X GET -I -A 'YYSpider' https://www.myong.top
HTTP/1.1 200 Connection established
HTTP/2 403
server: marco/2.11
date: Fri, 20 Mar 2020 08:48:50 GMT
content-type: text/html
content-length: 146
x-source: C/403
x-request-id: 3ed800d296a12ebcddc4d61c57500aa2

模擬百度Baiduspider

λ curl -X GET -I -A 'BaiduSpider' https://www.myong.top
HTTP/1.1 200 Connection established
HTTP/2 200
server: marco/2.11
date: Fri, 20 Mar 2020 08:49:47 GMT
content-type: text/html
vary: Accept-Encoding
x-source: C/200
last-modified: Wed, 18 Mar 2020 13:16:50 GMT
etag: "5e721f42-150ce"
x-request-id: e82999a78b7d7ea2e9ff18b6f1f4cc84

爬蟲常見的User-Agent

FeedDemon       內(nèi)容采集 
BOT/0.1 (BOT for JCE) sql注入 
CrawlDaddy      sql注入 
Java         內(nèi)容采集 
Jullo         內(nèi)容采集 
Feedly        內(nèi)容采集 
UniversalFeedParser  內(nèi)容采集 
ApacheBench      cc攻擊器 
Swiftbot       無用爬蟲 
YandexBot       無用爬蟲 
AhrefsBot       無用爬蟲 
YisouSpider      無用爬蟲（已被UC神馬搜索收購，此蜘蛛可以放開?。?
jikeSpider      無用爬蟲 
MJ12bot        無用爬蟲 
ZmEu phpmyadmin    漏洞掃描 
WinHttp        采集cc攻擊 
EasouSpider      無用爬蟲 
HttpClient      tcp攻擊 
Microsoft URL Control 掃描 
YYSpider       無用爬蟲 
jaunty        wordpress爆破掃描器 
oBot         無用爬蟲 
Python-urllib     內(nèi)容采集 
Indy Library     掃描 
FlightDeckReports Bot 無用爬蟲 
Linguee Bot      無用爬蟲

以上就是Nginx反爬蟲策略，防止UA抓取網(wǎng)站的詳細(xì)內(nèi)容，更多關(guān)于Nginx 反爬蟲的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • nginx 鏡像中文字符集使用詳解

    nginx 鏡像中文字符集使用詳解

    這篇文章主要為大家介紹了nginx 鏡像中文字符集使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-09-09
  • Nginx自定義日志中時(shí)間格式的操作方法

    Nginx自定義日志中時(shí)間格式的操作方法

    工作需要對接內(nèi)部的日志中臺(tái),對日志打印有固定的格式要求,為了使Nginx的access日志也能被采集,需要對日志格式進(jìn)行自定義,這篇文章主要介紹了Nginx自定義日志中時(shí)間格式,需要的朋友可以參考下
    2023-11-11
  • Nginx解決轉(zhuǎn)發(fā)地址時(shí)跨域的問題

    Nginx解決轉(zhuǎn)發(fā)地址時(shí)跨域的問題

    這篇文章主要介紹了Nginx實(shí)現(xiàn)轉(zhuǎn)發(fā)地址解決跨域問題的方法，文中介紹的很詳細(xì)，對大家的學(xué)習(xí)具有一定的參考借鑒價(jià)值，有需要的朋友可以參考借鑒，下面來一起看看吧。
    2017-01-01
  • Nginx的緩存配置與其他配置方法

    Nginx的緩存配置與其他配置方法

    Nginx的壓縮功能配置是通過gzip壓縮技術(shù),可以使原來的網(wǎng)頁的內(nèi)容大小壓縮成原來的30%,這樣,用戶在訪問網(wǎng)頁的時(shí)候,由于傳輸?shù)膬?nèi)容比原內(nèi)容小很多,故而速度會(huì)快很多,本文給大家介紹Nginx的緩存配置與其他配置方法,感興趣的朋友一起看看吧
    2023-12-12
  • 文件上傳到服務(wù)器文件名中文亂碼問題

    文件上傳到服務(wù)器文件名中文亂碼問題

    上傳附件到部署服務(wù)器,但是上傳到服務(wù)器出現(xiàn)文件名中文亂碼,中文變成（？）問號(hào),而且在本地測試是正常的,通過打印日志發(fā)現(xiàn),下面fileName亂碼,本文給大家講解文件上傳到服務(wù)器文件名中文亂碼問題解決方案,感興趣的朋友一起看看吧
    2024-02-02
  • nginx 多個(gè)location轉(zhuǎn)發(fā)任意請求或訪問靜態(tài)資源文件的實(shí)現(xiàn)

    nginx 多個(gè)location轉(zhuǎn)發(fā)任意請求或訪問靜態(tài)資源文件的實(shí)現(xiàn)

    這篇文章主要介紹了nginx 多個(gè)location轉(zhuǎn)發(fā)任意請求或訪問靜態(tài)資源文件的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • 強(qiáng)大的 Web 應(yīng)?服務(wù)器OpenResty安裝(Nginx倉庫)

    強(qiáng)大的 Web 應(yīng)?服務(wù)器OpenResty安裝(Nginx倉庫)

    OpenResty 是?個(gè)強(qiáng)大的 Web 應(yīng)?服務(wù)器，Web 開發(fā)?員可以使用 Lua 腳本語?調(diào)動(dòng) Nginx ?持的各種 C 以及 Lua 模塊,更主要的是在性能方面，OpenResty可以快速構(gòu)造出足以勝任 10K 以上并發(fā)連接響應(yīng)的超高性能 Web 應(yīng)用系統(tǒng)
    2023-06-06
  • upstream模塊中常用options選項(xiàng)講解

    upstream模塊中常用options選項(xiàng)講解

    這篇文章主要為大家介紹了upstream模塊中常用options選項(xiàng)講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
    2023-07-07
  • 詳解nginx的請求限制（連接限制和請求限制）

    詳解nginx的請求限制（連接限制和請求限制）

    這篇文章主要介紹了詳解nginx的請求限制（連接限制和請求限制），小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-07-07
  • 解決nginx服務(wù)器上發(fā)布的新版本代碼總需要清除瀏覽器緩存問題

    解決nginx服務(wù)器上發(fā)布的新版本代碼總需要清除瀏覽器緩存問題

    這篇文章主要介紹了解決nginx服務(wù)器上發(fā)布的新版本代碼總需要清除瀏覽器緩存問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-01-01

最新評論