使用<META>標簽攔截或刪除網頁:在網頁的 <HEAD> 部分添加適當的 <META> 標簽。
如何使用標簽阻止網頁被收錄?
攔截所有搜索引擎把網頁收錄:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
只是攔截百度蜘蛛爬取網頁,而允許其他搜索引擎收錄:?
<META NAME="baiduspider" CONTENT="NOINDEX, NOFOLLOW">
允許搜索引擎收錄你的網頁,但禁止其追蹤外部鏈接(如:zh.wikipedia.org 為了防止鏈接泛濫采用了此例):
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
允許搜索引擎收錄你的網頁,但禁止其收錄網頁上的圖片:
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">
注:哪一個網頁需要攔截或刪除,則在那個網頁添加<META> 標簽,其他頁面不會受影響。<META> 標簽針對的是具體的某個網頁,而不是整個網站。
閱讀本文的人還可以閱讀:
什么是meta robots 標簽?meta robots 標簽的寫法