apache使用.htaccess文件實現(xiàn)屏蔽wget下載網(wǎng)站內(nèi)容

更新時間：2014年07月31日 08:38:01 投稿：hebedich

wget是一個從網(wǎng)絡上自動下載文件的自由工具，支持通過HTTP、HTTPS、FTP三個最常見的TCP/IP協(xié)議下載，并可以使用HTTP代理。wget名稱的由來是“World Wide Web”與“get”的結合。

經(jīng)發(fā)現(xiàn)，雖然wget遵循 robots.txt 規(guī)則，但是那個還是可以繞過去，現(xiàn)在把我自己使用的屏蔽方法分享給大家：

1. 屏蔽下載任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下載部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感興趣的文章:

Linux下如何搭建兩個tomcat服務
本篇文章主要介紹了Linux下如何搭建兩個tomcat服務，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-03-03
詳解CentOS7使用firewalld打開關閉防火墻與端口
本篇文章主要介紹了CentOS7使用firewalld打開關閉防火墻與端口，具有一定的參考價值，感興趣的小伙伴們可以參考一下。
2017-01-01
Ubuntu中添加應用程序快速啟動器的方法
這篇文章主要介紹了Ubuntu中添加應用程序快速啟動器的方法,需要的朋友可以參考下
2014-09-09
Apache No space left on device的解決辦法
[Fri Aug 15 10:54:31 2008] [emerg] (28)No space left on device: Couldn't create accept lockdf一下發(fā)現(xiàn)不是磁盤空間的問題。Google了一下就找到了解決方案，原來是系統(tǒng)的信號量(?)不夠用了。
2008-08-08
詳解linux pwm驅動編寫
這篇文章主要介紹了詳解linux pwm驅動編寫，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-04-04
ubuntu 設置靜態(tài)IP的實現(xiàn)方法
這篇文章主要介紹了ubuntu 靜態(tài)IP的設定實現(xiàn)方法的相關資料,需要的朋友可以參考下
2016-10-10
Ubuntu Server 18.04.5 LTS服務器版安裝配置圖解教程
Ubuntu分為桌面版（desktop）和服務器版（Server），下面為大家介紹服務器版本Ubuntu Server 18.04.5 LTS的詳細安裝過程,需要的朋友可以參考下
2021-01-01
CentOS7使用dnf安裝mysql的方法
本篇文章主要介紹了CentOS7使用dnf安裝mysql的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-03-03
Linux下的ssh安全防護問題
這篇文章主要介紹了Linux下的ssh安全防護問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08
shell腳本報錯："[: =: unary operator expected"解決辦法
這篇文章主要介紹了shell腳本報錯："[: =: unary operator expected"解決辦法的相關資料,需要的朋友可以參考下
2017-03-03