- 相關(guān)推薦
如何避免蜘蛛陷阱
“蜘蛛陷阱”是阻止蜘蛛程序爬行網(wǎng)站的障礙物，雖然網(wǎng)頁(yè)界面看起來(lái)非常正常，但這些蜘蛛陷阱會(huì )對蜘蛛程序造成障礙。消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網(wǎng)頁(yè)。哪些做法不利于蜘蛛爬行和抓取呢?怎么去避免這些蜘蛛陷阱呢?下面跟YJBYS小編一起學(xué)習一下!
1、 登錄要求
有些企業(yè)站和個(gè)人站設置一定要用戶(hù)注冊登錄后，才能看到相關(guān)的文章內容，這種對蜘蛛不是很友好，因為蜘蛛無(wú)法提交注冊，更無(wú)法輸入用戶(hù)名和密碼登錄查看內容。對于蜘蛛來(lái)說(shuō)，用戶(hù)直接點(diǎn)擊查看到的內容也是蜘蛛所能看到的內容。如果你的網(wǎng)站有這種情況，請取消這一功能，但網(wǎng)站如果有VIP用戶(hù)或部分資源，是可以這樣設置的。
2、動(dòng)態(tài)URL
動(dòng)態(tài)URL可以簡(jiǎn)單理解為在URL中加入過(guò)多的符號或者網(wǎng)址參數，雖然隨著(zhù)搜索引擎的技術(shù)發(fā)展，動(dòng)態(tài)URL對于蜘蛛的抓取已經(jīng)越來(lái)越不是問(wèn)題了，但是從搜索引擎友好度上講，靜態(tài)哪陷是偽靜態(tài)相對來(lái)說(shuō)都比動(dòng)態(tài)URL要好。URL優(yōu)化將在本章第6節中討論。 /
3、強制用Cookies
強制用Cookies對于搜索引擎來(lái)說(shuō)相當于直接禁用了Cookies，而有些網(wǎng)站為了實(shí)現某些功能。會(huì )采取強制Cookies，例如跟蹤用戶(hù)訪(fǎng)問(wèn)路徑，記住用戶(hù)信息，甚至是盜取用戶(hù)隱私等，如果用戶(hù)訪(fǎng)問(wèn)這類(lèi)站點(diǎn)時(shí)沒(méi)有啟用Cookies，所顯示的頁(yè)面就會(huì )不正常。所以，對于蜘蛛來(lái)講，同樣的網(wǎng)頁(yè)無(wú)法正常訪(fǎng)問(wèn)。
4、 框架結構
早期框架網(wǎng)頁(yè)到處被泛濫使用，而現在很多網(wǎng)站已經(jīng)很少使用了，一是因為現在隨著(zhù)各大CMS系統的開(kāi)發(fā)問(wèn)世，網(wǎng)站維護相對越來(lái)越簡(jiǎn)單了，早期網(wǎng)站使用框架是因為對網(wǎng)站頁(yè)面的維護有一定的便利性，現在已經(jīng)大可不必了，而且不利于搜索引擎收錄也是框架越來(lái)越少被使用的原因之一。
5、各種跳轉
對搜索引擎來(lái)說(shuō)，只對301跳轉相對來(lái)說(shuō)比較友好，對其他形式的跳轉都比較敏感。如JavaScritp跳轉、MetaRefresh跳轉、Flash跳轉、302跳轉。
有些網(wǎng)站的做法很讓人無(wú)奈，當打開(kāi)網(wǎng)頁(yè)后，會(huì )自動(dòng)轉向其他頁(yè)面，如果打開(kāi)的頁(yè)面和你要找的頁(yè)面豐體相關(guān).+掃.笪討很去，佃是很大部分的網(wǎng)站轉向讓你無(wú)任何理由和目的，這種轉向不推薦大家使用，如果非要做轉向，只推薦用301永久跳轉，可以將權重進(jìn)行傳遞，除此轉向其他都不推薦，因為很多其他轉向欺騙用戶(hù)和搜索引擎，也是黑帽的一種手段，建議大家不要使用。
6、Flash
有的網(wǎng)站頁(yè)面使用Flash視覺(jué)效果是很正常的，例如用Flash做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒(méi)有問(wèn)題的，但很多網(wǎng)站的首頁(yè)是一個(gè)大的Flash文件，這種就叫蜘蛛陷阱。在蜘蛛抓取時(shí)，HTML代碼中只是一個(gè)鏈接，并沒(méi)有文字，雖然大的Flash效果看上去很好，外觀(guān)看著(zhù)也很漂亮，但可惜搜素引擎看不到，無(wú)法讀取任何內容，所以，為了能體現網(wǎng)站優(yōu)化的最好效果，不提倡這種Flash作為首頁(yè)圖片。
7、JavaScript跳轉
雖然現在搜索引擎對于JavaScript里的鏈接可以跟蹤，甚至嘗試拆解分析，但是我們最好不要寄望于搜索引擎自己克服困難。雖然通過(guò)JavaScript可以做一些效果不錯的導航，但是CSS同樣也可以做到。為了提高網(wǎng)站對搜索引擎的友好度，使網(wǎng)頁(yè)能夠更好地蜘蛛爬行，盡量不要采用JavaScript當然，在SEO中，JavaScript有一個(gè)好處就是站長(cháng)不希望被收錄的頁(yè)面或者友情鏈接可以采用JavaSc:npt。當然，有一種方法可以消除JavaScript蜘蛛程序陷阱，即使用
8、采用session id的頁(yè)面
有的銷(xiāo)售類(lèi)站點(diǎn)為了分析用戶(hù)的某些信息，會(huì )采用會(huì )話(huà)ID來(lái)跟蹤用戶(hù)。訪(fǎng)問(wèn)站點(diǎn)時(shí)，每個(gè)用戶(hù)訪(fǎng)問(wèn)都會(huì )增加一次：?ssion id而加人到URL中。同樣，蜘蛛的每一次訪(fǎng)問(wèn)也會(huì )被當作一個(gè)新用戶(hù)。每次蜘蛛訪(fǎng)問(wèn)的URL中都會(huì )加入一個(gè)。Ession id，產(chǎn)生同一個(gè)頁(yè)面但URL不同的情況，這種情況會(huì )產(chǎn)生復制內容頁(yè)面，造成高度重復的內容頁(yè)，同時(shí)也是最常見(jiàn)的蜘蛛陷阱之一。
【如何避免蜘蛛陷阱】相關(guān)文章：
網(wǎng)站優(yōu)化常見(jiàn)蜘蛛陷阱分析03-21
導演應避免的五大陷阱03-12
如何避免瑜伽傷害03-28
如何避免商品漏發(fā)03-03
如何避免孩子的起床氣？01-14
如何避免汽車(chē)后視鏡盲區03-20
如何打高球避免高爾夫03-19
淘寶開(kāi)店如何避免扣分02-28