要限制爬取,用 robots.txt;要讓頁面不出現在 Google 搜尋結果,用 meta robots 的 noindex,並確保 Google 能檢索該頁。兩者控制的階段不同,不能互相取代,也沒有哪一種在所有情況下都比較好。robots.txt 適合集中設定哪些路徑不能爬取;meta robots 則用來為個別 HTML 頁面設定索引等指示。以下以 Google 的規則為主,其他搜尋引擎的解讀可能不同。
robots.txt 擋住檢索,不等於網址不會被收錄
robots.txt 可以告訴檢索器哪些路徑不要爬取,但不能保證網址不被收錄。Google 官方說明,即使 Google 無法讀取頁面,仍可能透過其他網站的連結發現網址,並使用站外連結的錨定文字等資訊產生搜尋結果的標題。
因此,選用時應先分清楚目標:是不要爬蟲讀取內容,還是不要網址出現在搜尋結果?如果不希望一整批頁面被收錄,單靠 Disallow 封鎖這些頁面,並不能可靠地將它們排除於索引之外。
meta robots 控制單頁,noindex 必須能被讀到
HTML 頁面的 noindex 標記可放在 head 區段,例如:<meta name=”robots” content=”noindex”>。依 Google 官方說明,Googlebot 檢索頁面並讀到這項規則後,Google 就會將該頁排除於搜尋結果之外,即使其他網站仍連向它也一樣。
若要讓 noindex 生效,就不要用 robots.txt 封鎖該頁。問題不在於哪個指令的優先權較高,而是爬蟲被擋住後,根本看不到頁面裡的標記。同一網站可以使用兩種控制方式,但必須依各頁面的用途設定。
依需求選擇,而不是只看設定是否方便
- 購物車、結帳頁不想出現在搜尋結果:可考慮 noindex,並讓搜尋引擎能檢索這些頁面。這是針對特定用途的建議,不是所有電商頁面都必須遵守的規則。
- 需要限制某些路徑的爬取:可用 robots.txt 集中設定;大型網站也可依伺服器負載與檢索需求調整限制,但不能把它當成排除索引的替代方案。
- PDF、圖片等非 HTML 資源不想被索引:可用 HTTP 回應標頭 X-Robots-Tag: noindex。Google 說明,透過標頭或 meta 標記設定 noindex,效果相同。
設定完成後,還要等 Google 重新檢索
加入 noindex 不代表頁面會立即從搜尋結果中消失。Google 必須再次檢索該頁,才會看到新規則。官方指出,Google 可能要過數月才會重新造訪部分頁面;你可以透過網址檢查工具要求重新檢索,並確認頁面沒有被 robots.txt 擋住。此外,Google 不支援在 robots.txt 裡指定 noindex,因此不能把 noindex 寫進 robots.txt 來排除索引。
meta robots 與 robots.txt 的網路各方意見
不想收錄頁面,但希望搜尋引擎追蹤連結,該怎麼設定?
測試頁或管理後台不想公開,設定 noindex 就夠了嗎?
參考資料
- 使用「noindex」禁止 Google 搜尋建立索引 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:測試頁或管理後台不想公開,設定 noindex 就夠了嗎?;大量頁面都要設定 noindex,一定要逐頁手動修改嗎?
- 影響 Google 搜尋中的標題連結 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 討論:不想收錄頁面,但希望搜尋引擎追蹤連結,該怎麼設定?;大量頁面都要設定 noindex,一定要逐頁手動修改嗎?
- robots.txt是什麼? robots.txt設定、用途與使用範例分享!welly.tw · 2022-01-13T05:20:36.169Z — 討論:不想收錄頁面,但希望搜尋引擎追蹤連結,該怎麼設定?
- 用 robots.txt、noindex 限制搜尋引擎抓網站資料www.da-vinci.com.tw · 2022-09-11T23:38:01+08:00 — 討論:測試頁或管理後台不想公開,設定 noindex 就夠了嗎?;大量頁面都要設定 noindex,一定要逐頁手動修改嗎?



