搜索引擎爬蟲(chóng)蜘蛛的USERAGENT大全
發(fā)布時(shí)間：2010-08-29 14:39:33 作者：佚名 
我要評(píng)論
我要評(píng)論搜索引擎爬蟲(chóng)蜘蛛的USERAGENT收集，方便制作采集的朋友。
百度爬蟲(chóng)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲(chóng)
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲(chóng)（分別是雅虎中國(guó)和美國(guó)總部的爬蟲(chóng)）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛(ài)問(wèn)爬蟲(chóng)
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲(chóng)
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網(wǎng)易爬蟲(chóng)
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲(chóng)
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲(chóng)
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲(chóng)（分別是雅虎中國(guó)和美國(guó)總部的爬蟲(chóng)）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛(ài)問(wèn)爬蟲(chóng)
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲(chóng)
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網(wǎng)易爬蟲(chóng)
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲(chóng)
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相關(guān)文章
寶塔面板屏蔽 Censys的配置方法(防止源站 IP 泄露)
Censys 搜索引擎很強(qiáng)大,Censys 每天都會(huì)掃描 IPv4 地址空間，以搜索所有聯(lián)網(wǎng)設(shè)備并收集相關(guān)的信息，并返回一份有關(guān)資源（如設(shè)備、網(wǎng)站和證書(shū)）配置和部署信息的總體報(bào)告2025-03-01
使用高防服務(wù)器或者高防CDN后為什么還會(huì)出現(xiàn)源站IP被打
近來(lái)站長(zhǎng)們應(yīng)該基本都遇到過(guò) DDOS 攻擊，特別是 CC，如果放任不管，會(huì)導(dǎo)致服務(wù)器資源緊張，導(dǎo)致用戶無(wú)法正常訪問(wèn),有時(shí)間就算接入了高防服務(wù)器，源站 IP 還是被打，網(wǎng)站打不2025-03-01
通過(guò)Censys引擎，教你繞過(guò) CDN 精準(zhǔn)找到源站IP
當(dāng)我們談?wù)摾@過(guò)CDN查找真實(shí)IP的時(shí)候，不得不提到SSL證書(shū)，它確實(shí)是我們尋找真實(shí)IP的一大利器，至于為什么SSL證書(shū)會(huì)導(dǎo)致源站IP泄露？很多人或許沒(méi)有深入了解這個(gè)問(wèn)題,目前好2025-03-01
CloudFlare官方免費(fèi)CNAME接入配置教程
默認(rèn)CloudFlare都是讓大家通過(guò)dns接入，但大家因?yàn)橐呀?jīng)習(xí)慣了dnspod等解析方式，那么cname就比較方便大家使用了，下面為大家分享一下cname的接入方法,需要的朋友可以參考下2025-02-20旅途云 高防服務(wù)器活動(dòng)促銷(ddos、cc攻擊)
是否需要高防服務(wù)器呢，最近很多網(wǎng)站遭受ddos與cc攻擊，雙11之際旅途云特為大家提供了性價(jià)比更高的高防服務(wù)器套餐需要的朋友可以咨詢2023-11-12華為云優(yōu)惠券在哪里獲得？華為云優(yōu)惠券領(lǐng)取
在本篇文章里小編給大家整理的是關(guān)于華為云優(yōu)惠券領(lǐng)取的方法和入口，有此需要的朋友們可以領(lǐng)取下，希望對(duì)你有幫助。2020-03-12華為云優(yōu)惠券怎么用？華為云優(yōu)惠券使用方法
在本篇文章里小編給大家整理了關(guān)于華為云優(yōu)惠券使用方法和詳細(xì)步驟，有興趣的朋友們可以學(xué)習(xí)下。2020-03-12
華為云優(yōu)惠券在哪能找到？華為云優(yōu)惠券領(lǐng)取教程
我們給大家?guī)?lái)如何用優(yōu)惠的方法購(gòu)買華為云主機(jī)的方法以及給大家分享華為云的優(yōu)惠券和代金券，希望能夠幫助到大家。2020-02-26
進(jìn)行https證書(shū)申請(qǐng)安裝和tomcat https證書(shū)安裝的方法
對(duì)于https證書(shū)，想必大家已經(jīng)非常熟悉了，這是一種可以保護(hù)網(wǎng)站安全的證書(shū)，以https開(kāi)頭的網(wǎng)站都是具有這一證書(shū)的網(wǎng)站。今天給大家介紹怎樣進(jìn)行https證書(shū)申請(qǐng)安裝和tomcat2019-10-31
庫(kù)店進(jìn)軍社交電商，揮斥重金燎原計(jì)劃迎戰(zhàn)雙十一
庫(kù)店創(chuàng)始人鄭劍豪,原寺庫(kù)商城總經(jīng)理,2010年聚劃算創(chuàng)始團(tuán)隊(duì)成員,5年時(shí)間幫助寺庫(kù)成功上市。庫(kù)店,是美國(guó)納斯達(dá)克上市企業(yè)寺庫(kù)旗下高品質(zhì)社交電商平臺(tái),獲京東與LVMH集團(tuán)旗下基2018-11-01
