網(wǎng)站經(jīng)常會被各種爬蟲光顧，有的是搜索引擎爬蟲，有的不是，通常情況下這些爬蟲都有UserAgent，而我們知道UserAgent是可以偽裝的，UserAgent的本質(zhì)是Http請求頭中的一個選項(xiàng)設(shè)置，通過編程的方式可以給請求設(shè)置任意的UserAgent。

所以通過UserAgent判斷請求的發(fā)起者是否是搜索引擎爬蟲（蜘蛛）的方式是不靠譜的，更靠譜的方法是通過請求者的ip對應(yīng)的host主機(jī)名是否是搜索引擎自己家的host的方式來判斷。

要獲得ip的host，在windows下可以通過nslookup命令，在linux下可以通過host命令來獲得，例如：

這里我在windows下執(zhí)行了nslookup ip 的命令，從上圖可以看到這個ip的主機(jī)名是crawl-66-249-64-119.googlebot.com。 這說明這個ip是一個google爬蟲，google爬蟲的域名都是 xxx.googlebot.com.

我們也可以通過python程序的方式來獲得ip的host信息，代碼如下：

import socket
def getHost(ip):
 try:
 result=socket.gethostbyaddr(ip)
 if result: return result[0], None
 except socket.herror,e:
 return None, e.message

上述代碼使用了socket模塊的gethostbyaddr的方法獲得ip地址的主機(jī)名。

常用蜘蛛的域名都和搜索引擎官網(wǎng)的域名相關(guān)，例如：

百度的蜘蛛通常是baidu.com或者baidu.jp的子域名

google爬蟲通常是googlebot.com的子域名

微軟bing搜索引擎爬蟲是search.msn.com的子域名

搜狗蜘蛛是crawl.sogou.com的子域名

基于以上原理，我寫了一個工具頁面提供判斷ip是否是真實(shí)搜索引擎的工具頁面，該頁面上提供了網(wǎng)頁判斷的工具和常見的google和bing的搜索引擎爬蟲的ip地址。

附帶常見搜索引擎蜘蛛的IP段：

ps：https協(xié)議網(wǎng)頁能夠被搜索引擎收錄嗎

百度現(xiàn)在只能收錄少部分的https，大部分的https網(wǎng)頁無法收錄。

不過我查詢了google資料，Google能夠比較好地收錄https協(xié)議的網(wǎng)站。

所以如果你的網(wǎng)站是中文的，而且比較關(guān)注搜索引擎自然排名流量這塊，建議盡量不要將所有內(nèi)容都放到https中去加密去。

可考慮的方式是：

1、對于需要加密傳遞的數(shù)據(jù)，使用https，比如用戶登錄以及用戶登錄后的信息；

2、對于普通的新聞、圖片，建議使用http協(xié)議來傳輸；

3、網(wǎng)站首頁建議使用http協(xié)議的形式。

最新評論