網(wǎng)站優(yōu)化必看 蜘蛛陷阱 不利于蜘蛛爬取的網(wǎng)頁

1、搜索引擎能不能找到網(wǎng)頁。
1)要讓搜搜引擎發(fā)現(xiàn)網(wǎng)站首頁,網(wǎng)站推廣就必須有良好的外部鏈接鏈接到首頁,就找到了首頁,然后蜘蛛會沿著鏈接爬的更深。
讓蜘蛛通過簡單的html頁面的鏈接到達(dá),javascript鏈接,flash鏈接都是蜘蛛的陷阱。這點(diǎn)要注意。
2)找到網(wǎng)頁后能不能抓去內(nèi)容。
被發(fā)現(xiàn)的蜘蛛是可以被爬取的,數(shù)據(jù)庫動(dòng)態(tài)生成,帶過很多的參數(shù)url、sessionID、整個(gè)頁面都是flash、框架結(jié)構(gòu)、大量的轉(zhuǎn)向,和大量的復(fù)制內(nèi)容都可能把蜘蛛攔截在門外。這也也是要注意的
2、flash
1)在網(wǎng)頁某一個(gè)部分使用flash來增強(qiáng)視覺效果很正常網(wǎng)絡(luò)推廣,比如現(xiàn)在很多的flash廣告、圖標(biāo)等。但是這是一個(gè)html頁面的一部分。不會有太大的影響
2)但是有的網(wǎng)站就是一個(gè)很大的flash文件,這就構(gòu)成了蜘蛛的陷阱,這時(shí)候蜘蛛爬取的只有一個(gè)flash鏈接,沒有其他的內(nèi)容,所以這點(diǎn)盡量要避免。
3、sessionID
1)有些網(wǎng)站使用sessionID(會話ID)跟蹤用戶的訪問,用戶的沒一次訪問都會生成一個(gè)獨(dú)立的ID,然后加在url里,這是蜘蛛每一次抓取網(wǎng)站都會把蜘蛛當(dāng)作一個(gè)新的用戶網(wǎng)絡(luò)營銷,造成蜘蛛不能正常爬取,這也是蜘蛛的一大陷阱。
2)通常建議跟蹤用戶訪問應(yīng)該使用cookies而不要生存sessionID 。
4、各種的跳轉(zhuǎn)
1)除了大家熟悉的301轉(zhuǎn)向之外,其他的轉(zhuǎn)向?qū)λ阉髦┲攵急容^敏感的,比如302暫時(shí)轉(zhuǎn)向,javascript轉(zhuǎn)向,flash轉(zhuǎn)向,meta refresh跳轉(zhuǎn),所以建議大家不要做其他不利于網(wǎng)頁的轉(zhuǎn)向,301也包括,不到萬不得已的時(shí)候也不要用301轉(zhuǎn)向。這是個(gè)建議。謝謝閱讀,希望能幫到大家,請繼續(xù)關(guān)注腳本之家,我們會努力分享更多優(yōu)秀的文章。
相關(guān)文章
Google蜘蛛爬蟲可以運(yùn)行網(wǎng)頁中的JS腳本和CSS樣式
在我的既有觀念中,搜索引擎的網(wǎng)頁爬蟲/蜘蛛/機(jī)器人(Crawler/Spider/Robot)只抓取頁面的 HTML 代碼,對于內(nèi)部或外部的 JS 與 CSS 代碼是一律無視的。2010-01-01- 百度蜘蛛日志抓取解讀 教你如何提高百度收錄:百度的收錄是關(guān)心的重中之重,了解百度蜘蛛的爬行規(guī)律從而更好的改善收錄情況也是必須要掌握的。2010-06-29
- 如何讓搜索引擎蜘蛛喜歡上你的網(wǎng)站,以下幾點(diǎn)大家都注意下2012-03-23
引導(dǎo)網(wǎng)絡(luò)蜘蛛爬行自己的網(wǎng)站的方法介紹
做網(wǎng)站的都希望被搜索引擎所收錄.就是希望網(wǎng)絡(luò)蜘蛛能爬到自己的網(wǎng)站里收錄信息2012-07-05百度蜘蛛抓取時(shí)返回304狀態(tài)碼的問題分析
網(wǎng)站被百度的蜘蛛抓取時(shí)返回304狀態(tài)碼是什么意思呢2012-08-29- 搜索引擎蜘蛛每天是怎么樣去爬取我們的網(wǎng)的呢?針對這些你有多少的了解?那搜索引擎蜘蛛的爬取過程又是怎么樣的呢?2013-04-01
SEO優(yōu)化 蜘蛛的爬行規(guī)則以及讓蜘蛛爬行的快速辦法
想要提高網(wǎng)站的排名首先要了解蜘蛛的爬行規(guī)則,下面我們來看看解蜘蛛最喜歡的是什么?當(dāng)蜘蛛爬行一個(gè)網(wǎng)站的時(shí)候,它需要爬行的信息首先就是站內(nèi)的結(jié)構(gòu),查看站內(nèi)結(jié)構(gòu)是否是2014-10-14- 作為一名編輯乃至站長,在關(guān)注網(wǎng)站在搜索引擎排名的時(shí)候,最重要的就是蜘蛛(spider)。搜索引擎蜘蛛是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁內(nèi)容的程序,每個(gè)搜索引擎都有自己的蜘蛛,那2016-05-27