主體內(nèi)容過(guò)長(zhǎng)(通常網(wǎng)頁(yè)源碼長(zhǎng)度不能超過(guò)128k),文章過(guò)長(zhǎng)可能會(huì)引起抓取截?cái)唷?br/>
?
舉個(gè)例子:某網(wǎng)站主體內(nèi)容都是JS生成,針對(duì)用戶訪問(wèn),沒(méi)有做優(yōu)化;但是網(wǎng)站特針對(duì)爬蟲(chóng)抓取做了優(yōu)化,直接將圖片進(jìn)行base64編碼推送給百度,然而優(yōu)化后發(fā)現(xiàn)內(nèi)容沒(méi)有被百度展示出來(lái);頁(yè)面質(zhì)量很好,還特意針對(duì)爬蟲(chóng)做了優(yōu)化,為什么內(nèi)容反而無(wú)法出現(xiàn)在百度搜索中;
?
主體內(nèi)容過(guò)長(zhǎng)影響蜘蛛抓取原因如下:
1、站點(diǎn)優(yōu)化后將主體內(nèi)容放于最后,圖片卻放于前面;
2、網(wǎng)站針對(duì)爬蟲(chóng)爬取做的優(yōu)化,是直接將圖片base64編碼后放到HTML中,導(dǎo)致頁(yè)面長(zhǎng)度過(guò)長(zhǎng),網(wǎng)站頁(yè)面長(zhǎng)度達(dá)164k;
3、爬蟲(chóng)抓取內(nèi)容后,頁(yè)面內(nèi)容過(guò)長(zhǎng)被截?cái)啵炎ト〔糠譄o(wú)法識(shí)別到主體內(nèi)容,最終導(dǎo)致頁(yè)面被認(rèn)定為空短而不建索引。
閱讀本文的人還可以閱讀: