欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Nginx服務(wù)器屏蔽與禁止屏蔽網(wǎng)絡(luò)爬蟲的方法

 更新時間:2019年03月16日 10:35:27   作者:CODETC  
今天小編就為大家分享一篇關(guān)于Nginx服務(wù)器屏蔽與禁止屏蔽網(wǎng)絡(luò)爬蟲的方法,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧

每個網(wǎng)站通常都會遇到很多非搜索引擎的爬蟲,這些爬蟲大部分都是用于內(nèi)容采集或是初學(xué)者所寫,它們和搜索引擎的爬蟲不一樣,沒有頻率控制,往往會消耗大量服務(wù)器資源,導(dǎo)致帶寬白白浪費了。

其實Nginx可以非常容易地根據(jù)User-Agent過濾請求,我們只需要在需要URL入口位置通過一個簡單的正則表達(dá)式就可以過濾不符合要求的爬蟲請求:

location / {
  if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {
    return 503;
  }
  # 其它正常配置
  ...
}

注意:變量$http_user_agent是一個可以直接在location中引用的Nginx變量。~*表示不區(qū)分大小寫的正則匹配,通過python就可以過濾掉80%的Python爬蟲。

Nginx中禁止屏蔽網(wǎng)絡(luò)爬蟲

server { 
    listen    80; 
    server_name www.xxx.com; 
    #charset koi8-r; 
    #access_log logs/host.access.log main; 
    #location / { 
    #  root  html; 
    #  index index.html index.htm; 
    #} 
  if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { 
        return 403; 
    } 
  location ~ ^/(.*)$ { 
        proxy_pass http://localhost:8080; 
    proxy_redirect     off; 
    proxy_set_header    Host $host; 
    proxy_set_header    X-Real-IP $remote_addr; 
    proxy_set_header    X-Forwarded-For  $proxy_add_x_forwarded_for; 
    client_max_body_size  10m; 
    client_body_buffer_size 128k; 
    proxy_connect_timeout  90; 
    proxy_send_timeout   90; 
    proxy_read_timeout   90; 
    proxy_buffer_size    4k; 
    proxy_buffers      4 32k; 
    proxy_busy_buffers_size 64k; 
    proxy_temp_file_write_size 64k; 
  } 
    #error_page 404       /404.html; 
    # redirect server error pages to the static page /50x.html 
    # 
    error_page  500 502 503 504 /50x.html; 
    location = /50x.html { 
      root  html; 
    } 
    # proxy the PHP scripts to Apache listening on 127.0.0.1:80 
    # 
    #location ~ \.php$ { 
    #  proxy_pass  http://127.0.0.1; 
    #} 
    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000 
    # 
    #location ~ \.php$ { 
    #  root      html; 
    #  fastcgi_pass  127.0.0.1:9000; 
    #  fastcgi_index index.php; 
    #  fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name; 
    #  include    fastcgi_params; 
    #} 
    # deny access to .htaccess files, if Apache's document root 
    # concurs with nginx's one 
    # 
    #location ~ /\.ht { 
    #  deny all; 
    #} 
  } 

可以用 curl 測試一下

curl -I -A "qihoobot" www.xxx.com

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

相關(guān)文章

  • Nginx更改conf配置文件的代碼詳解

    Nginx更改conf配置文件的代碼詳解

    本文主要介紹了Nginx如何更改conf配置文件,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作有一定的參考學(xué)習(xí)價值,需要的朋友們下面跟著小編來一起來學(xué)習(xí)吧
    2024-02-02
  • 基于nginx實現(xiàn)上游服務(wù)器動態(tài)自動上下線無需reload的實現(xiàn)方法

    基于nginx實現(xiàn)上游服務(wù)器動態(tài)自動上下線無需reload的實現(xiàn)方法

    這篇文章主要介紹了基于nginx實現(xiàn)上游服務(wù)器動態(tài)自動上下線無需reload,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-02-02
  • Nginx如何限制IP訪問只允許特定域名訪問

    Nginx如何限制IP訪問只允許特定域名訪問

    我們在使用的時候會遇到很多的惡意IP攻擊,這個時候就要用到Nginx 禁止IP訪問了,下面這篇文章主要給大家介紹了關(guān)于Nginx如何限制IP訪問只允許特定域名訪問的相關(guān)資料,需要的朋友可以參考下
    2022-07-07
  • 加速nginx性能: 開啟gzip和緩存

    加速nginx性能: 開啟gzip和緩存

    nginx 是一個高性能的 Web 服務(wù)器,之前也寫過一些關(guān)于 nginx 的文章。為了提高博客的響應(yīng)速度,可以從設(shè)置 nginx 的 gzip 和緩存這2方面入手。為字體開啟 gzip 和緩存能大大減少帶寬的消耗
    2017-03-03
  • 如何在centos7中安裝nginx

    如何在centos7中安裝nginx

    近期做項目用到了nginx,所以自己動手來在Centos7上安裝nginx,以下是安裝步驟。
    2018-09-09
  • nginx如何配置x-forwarded-for頭部

    nginx如何配置x-forwarded-for頭部

    這篇文章主要介紹了nginx如何配置x-forwarded-for頭部,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-01-01
  • Nginx純配置實現(xiàn)日志實時上報的思路與方法

    Nginx純配置實現(xiàn)日志實時上報的思路與方法

    在很多時候我們都需要在頁面上實時查看nginx的日志輸出,所以下面這篇文章主要給大家介紹了關(guān)于Nginx純配置實現(xiàn)日志實時上報的思路與方法,需要的朋友可以參考下
    2021-12-12
  • nginx內(nèi)部訪問特性如何實現(xiàn)靜態(tài)資源授權(quán)訪問

    nginx內(nèi)部訪問特性如何實現(xiàn)靜態(tài)資源授權(quán)訪問

    這篇文章主要介紹了nginx內(nèi)部訪問特性如何實現(xiàn)靜態(tài)資源授權(quán)訪問方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-06-06
  • nginx安裝以及配置的詳細(xì)過程記錄

    nginx安裝以及配置的詳細(xì)過程記錄

    Nginx (engine x) 是一個高性能的HTTP和反向代理服務(wù)器,也是一個IMAP/POP3/SMTP服務(wù)器,下面這篇文章主要給大家介紹了關(guān)于nginx安裝以及配置的詳細(xì)過程,文章將實現(xiàn)的過程介紹的非常詳細(xì),需要的朋友可以參考下
    2021-09-09
  • Nginx進(jìn)行域名重寫和泛域名解析配置的方法

    Nginx進(jìn)行域名重寫和泛域名解析配置的方法

    這篇文章主要介紹了Nginx進(jìn)行域名重寫和泛域名解析配置的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08

最新評論