搜索引擎爬蟲蜘蛛的USERAGENT大全
發(fā)布時間：2010-08-29 14:39:33 作者：佚名 
我要評論
我要評論搜索引擎爬蟲蜘蛛的USERAGENT收集，方便制作采集的朋友。
百度爬蟲
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲（分別是雅虎中國和美國總部的爬蟲）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛問爬蟲
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網易爬蟲
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲（分別是雅虎中國和美國總部的爬蟲）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛問爬蟲
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網易爬蟲
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相關文章
寶塔面板屏蔽 Censys的配置方法(防止源站 IP 泄露)
Censys 搜索引擎很強大,Censys 每天都會掃描 IPv4 地址空間，以搜索所有聯網設備并收集相關的信息，并返回一份有關資源（如設備、網站和證書）配置和部署信息的總體報告2025-03-01
近來站長們應該基本都遇到過 DDOS 攻擊，特別是 CC，如果放任不管，會導致服務器資源緊張，導致用戶無法正常訪問,有時間就算接入了高防服務器，源站 IP 還是被打，網站打不2025-03-01
當我們談論繞過CDN查找真實IP的時候，不得不提到SSL證書，它確實是我們尋找真實IP的一大利器，至于為什么SSL證書會導致源站IP泄露？很多人或許沒有深入了解這個問題,目前好2025-03-01
默認CloudFlare都是讓大家通過dns接入，但大家因為已經習慣了dnspod等解析方式，那么cname就比較方便大家使用了，下面為大家分享一下cname的接入方法,需要的朋友可以參考下2025-02-20- 是否需要高防服務器呢，最近很多網站遭受ddos與cc攻擊，雙11之際旅途云特為大家提供了性價比更高的高防服務器套餐需要的朋友可以咨詢2023-11-12
華為云優(yōu)惠券在哪里獲得？華為云優(yōu)惠券領取
在本篇文章里小編給大家整理的是關于華為云優(yōu)惠券領取的方法和入口，有此需要的朋友們可以領取下，希望對你有幫助。2020-03-12華為云優(yōu)惠券怎么用？華為云優(yōu)惠券使用方法
在本篇文章里小編給大家整理了關于華為云優(yōu)惠券使用方法和詳細步驟，有興趣的朋友們可以學習下。2020-03-12
華為云優(yōu)惠券在哪能找到？華為云優(yōu)惠券領取教程
我們給大家?guī)砣绾斡脙?yōu)惠的方法購買華為云主機的方法以及給大家分享華為云的優(yōu)惠券和代金券，希望能夠幫助到大家。2020-02-26
進行https證書申請安裝和tomcat https證書安裝的方法
對于https證書，想必大家已經非常熟悉了，這是一種可以保護網站安全的證書，以https開頭的網站都是具有這一證書的網站。今天給大家介紹怎樣進行https證書申請安裝和tomcat2019-10-31
庫店創(chuàng)始人鄭劍豪,原寺庫商城總經理,2010年聚劃算創(chuàng)始團隊成員,5年時間幫助寺庫成功上市。庫店,是美國納斯達克上市企業(yè)寺庫旗下高品質社交電商平臺,獲京東與LVMH集團旗下基2018-11-01
