蜘蛛黑洞:
蜘蛛黑洞指的是網(wǎng)站通過極低的成本運(yùn)營,制造出大量和內(nèi)容相識但參數(shù)不同的動(dòng)態(tài)URL ,像一個(gè)無限循環(huán)的“黑洞”將蜘蛛困住,蜘蛛花費(fèi)太多的時(shí)間在網(wǎng)站,浪費(fèi)了大量資源抓取的網(wǎng)頁為無效網(wǎng)頁。
如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象,盡快的處理好,蜘蛛黑洞不利于網(wǎng)站的收錄,也會(huì)影響搜索引擎對網(wǎng)站的評分。
?
如何使用Robots避免蜘蛛黑洞?
如何利用Robots避免蜘蛛黑洞操作:
普通的篩選結(jié)果頁基本都是使用靜態(tài)鏈接,比如:
http:// bj.XXXXX. com/category/zizhucan/weigongcun
當(dāng)用戶選擇不同排序后,會(huì)自動(dòng)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接,即使選擇是同一種排序條件,生成的參數(shù)也有不同的,比如:
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
把帶有不同參數(shù)的結(jié)果排序頁面使用robots規(guī)則拒絕,告知搜索引擎,讓搜索引擎只抓取篩選結(jié)果頁,為用戶和搜索引擎節(jié)省時(shí)間。
?
Robots文件寫法中Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址,通過這種方式,如果網(wǎng)站的無效頁面不希望被搜索引擎收錄,可以屏蔽掉低質(zhì)量的頁面,告訴搜索引擎哪些頁面可以抓取,有效的避免黑洞的形成。
閱讀本文的人還可以閱讀: