搜索引擎爬蟲蜘蛛的USERAGENT大全
發(fā)布時(shí)間:2010-08-29 14:39:33 作者:佚名
我要評(píng)論

搜索引擎爬蟲蜘蛛的USERAGENT收集,方便制作采集的朋友。
百度爬蟲
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲(分別是雅虎中國和美國總部的爬蟲)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛問爬蟲
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網(wǎng)易爬蟲
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬蟲
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬蟲(分別是雅虎中國和美國總部的爬蟲)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪愛問爬蟲
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬蟲
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
網(wǎng)易爬蟲
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬蟲
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相關(guān)文章
寶塔面板屏蔽 Censys的配置方法(防止源站 IP 泄露)
Censys 搜索引擎很強(qiáng)大,Censys 每天都會(huì)掃描 IPv4 地址空間,以搜索所有聯(lián)網(wǎng)設(shè)備并收集相關(guān)的信息,并返回一份有關(guān)資源(如設(shè)備、網(wǎng)站和證書)配置和部署信息的總體報(bào)告2025-03-01使用高防服務(wù)器或者高防CDN后為什么還會(huì)出現(xiàn)源站IP被打
近來站長們應(yīng)該基本都遇到過 DDOS 攻擊,特別是 CC,如果放任不管,會(huì)導(dǎo)致服務(wù)器資源緊張,導(dǎo)致用戶無法正常訪問,有時(shí)間就算接入了高防服務(wù)器,源站 IP 還是被打,網(wǎng)站打不2025-03-01通過Censys引擎,教你繞過 CDN 精準(zhǔn)找到源站IP
當(dāng)我們談?wù)摾@過CDN查找真實(shí)IP的時(shí)候,不得不提到SSL證書,它確實(shí)是我們尋找真實(shí)IP的一大利器,至于為什么SSL證書會(huì)導(dǎo)致源站IP泄露?很多人或許沒有深入了解這個(gè)問題,目前好2025-03-01CloudFlare官方免費(fèi)CNAME接入配置教程
默認(rèn)CloudFlare都是讓大家通過dns接入,但大家因?yàn)橐呀?jīng)習(xí)慣了dnspod等解析方式,那么cname就比較方便大家使用了,下面為大家分享一下cname的接入方法,需要的朋友可以參考下2025-02-20旅途云 高防服務(wù)器活動(dòng)促銷(ddos、cc攻擊)
是否需要高防服務(wù)器呢,最近很多網(wǎng)站遭受ddos與cc攻擊,雙11之際旅途云特為大家提供了性價(jià)比更高的高防服務(wù)器套餐需要的朋友可以咨詢2023-11-12華為云優(yōu)惠券在哪里獲得?華為云優(yōu)惠券領(lǐng)取
在本篇文章里小編給大家整理的是關(guān)于華為云優(yōu)惠券領(lǐng)取的方法和入口,有此需要的朋友們可以領(lǐng)取下,希望對(duì)你有幫助。2020-03-12華為云優(yōu)惠券怎么用?華為云優(yōu)惠券使用方法
在本篇文章里小編給大家整理了關(guān)于華為云優(yōu)惠券使用方法和詳細(xì)步驟,有興趣的朋友們可以學(xué)習(xí)下。2020-03-12華為云優(yōu)惠券在哪能找到?華為云優(yōu)惠券領(lǐng)取教程
我們給大家?guī)砣绾斡脙?yōu)惠的方法購買華為云主機(jī)的方法以及給大家分享華為云的優(yōu)惠券和代金券,希望能夠幫助到大家。2020-02-26進(jìn)行https證書申請(qǐng)安裝和tomcat https證書安裝的方法
對(duì)于https證書,想必大家已經(jīng)非常熟悉了,這是一種可以保護(hù)網(wǎng)站安全的證書,以https開頭的網(wǎng)站都是具有這一證書的網(wǎng)站。今天給大家介紹怎樣進(jìn)行https證書申請(qǐng)安裝和tomcat2019-10-31庫店進(jìn)軍社交電商,揮斥重金燎原計(jì)劃迎戰(zhàn)雙十一
庫店創(chuàng)始人鄭劍豪,原寺庫商城總經(jīng)理,2010年聚劃算創(chuàng)始團(tuán)隊(duì)成員,5年時(shí)間幫助寺庫成功上市。庫店,是美國納斯達(dá)克上市企業(yè)寺庫旗下高品質(zhì)社交電商平臺(tái),獲京東與LVMH集團(tuán)旗下基2018-11-01