apache禁止搜索引擎收錄、網絡爬蟲采集的配置方法
更新時間：2014年06月30日 08:48:10 投稿：junjie
這篇文章主要介紹了apache禁止搜索引擎收錄、網絡爬蟲采集的配置方法,注意一定要寫到Location節(jié)點,否則不起作用,可以精確匹配,也可以IP匹配,需要的朋友可以參考下
Apache中禁止網絡爬蟲，之前設置了很多次的，但總是不起作用，原來是是寫錯了，不能寫到Dirctory中，要寫到Location中
復制代碼 代碼如下:
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
這是禁止了所有包含spider字符的爬蟲。
如果要針對性的禁止爬蟲，改成精確匹配的爬蟲字符串，如果bingbot、Googlebot等等
相關文章
這篇文章主要給大家介紹了關于在linux下日志定時輪詢流程的相關資料，文中介紹的非常詳細，對大家具有一定的參考學習價值，需要的朋友們下面來一起看看吧。2017-06-06
linux環(huán)境配置nginx導致頁面不刷新的解決方法
這篇文章介紹了linux環(huán)境配置nginx導致頁面不刷新的解決方法，有需要的朋友可以參考一下2013-09-09
這篇文章主要介紹了ubuntu配置tftp服務的步驟小結，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
這篇文章主要介紹了分享十個便宜VPS主機-VPS服務器建站和搭建應用服務體驗，非常具有實用價值，需要的朋友可以參考下2017-07-07
Apache?Kafka?分區(qū)重分配的實現(xiàn)原理解析
這篇文章主要介紹了Apache?Kafka?分區(qū)重分配的實現(xiàn)原理,本文結合?2.0.0?版本的?Kafka?源碼，詳細介紹了?Kafka?分區(qū)副本重分配的流程和邏輯，需要的朋友可以參考下2022-07-07
用SSH客戶端連接linux服務器時，經常會出現(xiàn)與服務器會話連接中斷現(xiàn)象，照成這個問題的原因便是SSH服務有自己獨特的會話連接機制。2014-04-04
Windows 10 下安裝 Apache 2.4.41的教程
這篇文章主要介紹了Windows 10 下安裝 Apache 2.4.41的教程，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
linux如何編譯安裝新內核支持NTFS文件系統(tǒng)(以redhat7.2x64為例)
這篇文章主要介紹了linux如何編譯安裝新內核支持NTFS文件系統(tǒng)(以redhat7.2x64為例)，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2016-10-10
這篇文章主要介紹了Linux 6 修改ssh默認遠程端口號的操作步驟，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Linux 命令行通配符及轉義符的實現(xiàn)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-11-11