要讓可公開瀏覽的內容不出現在搜尋結果,可透過網頁 meta 標記或 HTTP 回應標頭設定 noindex。但搜尋引擎必須能讀到規則,設定才有可能生效。用 robots.txt 封鎖檢索不能代替排除索引,也不應擋住需要讀取 noindex 的檢索器。若內容涉及內部資料,則應另考慮登入等存取控制,不能把不被收錄當成保密措施。
依內容類型選擇 noindex 的設定方式
Google 文件指出,meta 標記與 HTTP 回應標頭的排除索引效果相同。要用哪一種,取決於內容類型,以及你能修改網站的哪些部分。
- HTML 網頁:在 head 區段放入 meta 標記,使用 name=”robots”、content=”noindex”,告訴支援此規則的搜尋引擎不要收錄該頁。
- 只針對 Google:將 meta 標記的 name 值設為 googlebot;這項設定並未要求所有搜尋引擎都不要收錄。
- PDF、影片或圖片:可透過 HTTP 回應標頭傳送 X-Robots-Tag: noindex,不必依靠 HTML 標記。
使用 Wix、WordPress 或 Blogger 等 CMS 時,平台可能提供搜尋引擎設定或其他機制,讓你不必直接編輯 HTML;但仍須確認實際提供的是哪一種設定。不同搜尋引擎對規則可能有不同解讀,不能保證所有搜尋服務都會以相同方式處理。
robots.txt 擋住檢索,也可能擋住排除指令
不要同時用 robots.txt 封鎖希望套用 noindex 的資源。例如某頁已加入 noindex,卻又禁止 Googlebot 存取,檢索器便看不到新規則;若其他網頁連向該網址,它仍可能出現在搜尋結果中。
Google 文件指出,當 Googlebot 能存取網頁並讀到 noindex 時,該頁就會被排除在搜尋結果之外,即使其他網站有連結也一樣。此外,Google 不支援把 noindex 寫在 robots.txt 裡,不能用這種方式取代 meta 標記或回應標頭。
敏感內容需要限制誰能讀取
選擇方法前,應先分清楚目標是「可以公開,但不要出現在搜尋結果」,還是「未獲授權的人不能閱讀」。noindex 處理的是搜尋索引,不能代替登入驗證。技術社群討論建議,後台等不應公開的內容應採用要求登入等存取控制。這是存取安全的建議,不是 Google 官方索引規則。
設定完成,不代表搜尋結果立即更新
Google 必須重新檢索網頁,才能發現新增的 noindex。Google 官方文件指出,再次檢索可能需要幾個月,取決於網頁在網際網路上的重要性。你可以透過網址檢查工具要求重新檢索,但這不保證網頁會立即從搜尋結果消失。若需要立即從 Google 搜尋結果移除網頁,文件另有移除作業說明可供參考;一般的 noindex 設定不是即時下架工具。
排除搜尋收錄的網路各方意見
大量頁面都不想被收錄時,逐頁設定有什麼限制?
如何初步找出可能多餘的收錄頁面?
可用搜尋引擎的 site 指令查看某網域的部分已收錄網址,再檢查結果中是否有不希望出現的頁面;也可將 Search Console 的索引數與實際有效頁面數比較。site 查詢只能看到部分網址,數量比較則有助於發現異常,仍需確認具體受影響的頁面。
哪些頁面值得先檢查是否需要排除?
未完成或測試中的頁面值得優先檢查:不完整或錯誤資料可能使使用者困惑,測試站內容也可能與日後正式站重複。排除前應確認設定會影響哪些頁面,尤其留意已有重要排名的頁面,避免因誤設而將它們移出索引。
參考資料
- 使用「noindex」禁止 Google 搜尋建立索引 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:大量頁面都不想被收錄時,逐頁設定有什麼限制?
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 本文論述的參考來源。
- 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 討論:大量頁面都不想被收錄時,逐頁設定有什麼限制?;如何初步找出可能多餘的收錄頁面?



