主體內容過長(通常網頁源碼長度不能超過128k),文章過長可能會引起抓取截斷。
?
舉個例子:某網站主體內容都是JS生成,針對用戶訪問,沒有做優化;但是網站特針對爬蟲抓取做了優化,直接將圖片進行base64編碼推送給百度,然而優化后發現內容沒有被百度展示出來;頁面質量很好,還特意針對爬蟲做了優化,為什么內容反而無法出現在百度搜索中;
?
主體內容過長影響蜘蛛抓取原因如下:
1、站點優化后將主體內容放于最后,圖片卻放于前面;
2、網站針對爬蟲爬取做的優化,是直接將圖片base64編碼后放到HTML中,導致頁面長度過長,網站頁面長度達164k;
3、爬蟲抓取內容后,頁面內容過長被截斷,已抓取部分無法識別到主體內容,最終導致頁面被認定為空短而不建索引。
閱讀本文的人還可以閱讀: