作為一名編輯乃至站長(zhǎng)，在關(guān)注網(wǎng)站在搜索引擎排名的時(shí)候，最重要的就是蜘蛛(spider)。搜索引擎蜘蛛是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁(yè)內(nèi)容的程序，每個(gè)搜索引擎都有自己的蜘蛛，那么，蜘蛛是怎樣在網(wǎng)站上抓取內(nèi)容的呢？一起來(lái)看看它的工作原理吧！

SEO是由英文Search Engine Optimization縮寫而來(lái)，中文意譯為“搜索引擎優(yōu)化”，是指在了解搜索引擎自然排名機(jī)制的基礎(chǔ)上，對(duì)網(wǎng)站進(jìn)行內(nèi)部及外部的調(diào)整優(yōu)化，改進(jìn)網(wǎng)站在搜索引擎中關(guān)鍵詞的自然排名，獲得更多的展現(xiàn)量，吸引更多目標(biāo)客戶點(diǎn)擊訪問(wèn)網(wǎng)站，從而達(dá)到網(wǎng)絡(luò)營(yíng)銷及品牌建設(shè)的目標(biāo)。

作為一個(gè)SEO初學(xué)者，首先要做的并不是急于學(xué)習(xí)發(fā)外鏈，靜態(tài)化，meta設(shè)置等，而是去理解SEO的原理以及作用。因此，先給大家講解一下搜索引擎的原理，幫助大家更好地理解SEO。

今天我主要講一下網(wǎng)頁(yè)抓取程序——蜘蛛（Spider），有的地方也叫機(jī)器人（robot）。蜘蛛是搜索引擎的一個(gè)自動(dòng)應(yīng)用程序，它的作用很簡(jiǎn)單，就是在互聯(lián)網(wǎng)中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務(wù)器上，再建立索引庫(kù)等操作。我們可以把蜘蛛當(dāng)作采集網(wǎng)站內(nèi)容的工具，因此越是有利于爬取的操作，就越有利于SEO。其實(shí)，蜘蛛的工作也挺簡(jiǎn)單，具體步驟參見(jiàn)下圖。

這里提到一點(diǎn)重要的信息：蜘蛛爬取的是網(wǎng)站代碼內(nèi)容，而不是我們看到的顯示內(nèi)容，因此沒(méi)有文本化直接從數(shù)據(jù)庫(kù)中讀取的內(nèi)容，引擎是獲取不到的。如：https://x.hs.net/html/apiservice/apilist.html

顯示內(nèi)容：

代碼內(nèi)容：

蜘蛛爬取的是第二個(gè)頁(yè)面，而我們真的是要把這個(gè)代碼的內(nèi)容給引擎看嗎？顯然不會(huì)。

下面介紹一下蜘蛛抓取網(wǎng)頁(yè)的規(guī)律：

1、深度優(yōu)先

搜索引擎蜘蛛在一個(gè)頁(yè)面發(fā)現(xiàn)一個(gè)鏈接后順著這個(gè)鏈接爬下去，然后在下一個(gè)頁(yè)面又發(fā)現(xiàn)一個(gè)鏈接，這樣一個(gè)頁(yè)面接一個(gè)頁(yè)面，直到抓取全部鏈接，這就是深度優(yōu)先抓取策略。這里告訴SEOER們，做好網(wǎng)站內(nèi)鏈的重要性，一定要用絕對(duì)地址。

2、寬度優(yōu)先

搜索引擎蜘蛛先把整個(gè)頁(yè)面的鏈接全部抓取一次，然后再抓取下一個(gè)頁(yè)面的全部鏈接。寬度優(yōu)先主要告訴SEOER們，不要把網(wǎng)站的目錄設(shè)置太多，層次要清楚。

3、權(quán)重優(yōu)先

這個(gè)比較好理解，主要是搜索引擎蜘蛛比較喜歡爬取質(zhì)量好的鏈接內(nèi)容。例如網(wǎng)易首頁(yè)面，蜘蛛經(jīng)常來(lái)，而不是很好的網(wǎng)站，蜘蛛就很少來(lái)。權(quán)重優(yōu)先對(duì)SEOER的提醒是做質(zhì)量好的外鏈很重要。

4、重訪抓取

例如，搜索引擎蜘蛛前一天抓取了某網(wǎng)站的頁(yè)面，而第二天該網(wǎng)站又增加了新的內(nèi)容，那么搜索引擎蜘蛛就可以再次抓取到新的內(nèi)容。長(zhǎng)此以往，該網(wǎng)站在蜘蛛的“印象”中就很友好了。這個(gè)重訪抓取策略不僅對(duì)SEOER有用，對(duì)網(wǎng)站建設(shè)也很有用：時(shí)時(shí)更新網(wǎng)站內(nèi)容，也能使客戶體驗(yàn)提升。

以上介紹了蜘蛛的爬取方式與內(nèi)容，你應(yīng)該理解為什么SEOER這么注重代碼問(wèn)題，URL設(shè)置，與原創(chuàng)更新了吧，希望這篇文章能幫助各位優(yōu)化自己的網(wǎng)站，做出受“蜘蛛”歡迎的網(wǎng)站！

最新評(píng)論