如何排除搜尋收錄?noindex、檢索限制與存取控制的差別

ProcrustesPR

要讓可公開瀏覽的內容不出現在搜尋結果,可透過網頁 meta 標記或 HTTP 回應標頭設定 noindex。但搜尋引擎必須能讀到規則,設定才有可能生效。用 robots.txt 封鎖檢索不能代替排除索引,也不應擋住需要讀取 noindex 的檢索器。若內容涉及內部資料,則應另考慮登入等存取控制,不能把不被收錄當成保密措施。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

依內容類型選擇 noindex 的設定方式

Google 文件指出,meta 標記與 HTTP 回應標頭的排除索引效果相同。要用哪一種,取決於內容類型,以及你能修改網站的哪些部分。

  • HTML 網頁:在 head 區段放入 meta 標記,使用 name=”robots”、content=”noindex”,告訴支援此規則的搜尋引擎不要收錄該頁。
  • 只針對 Google:將 meta 標記的 name 值設為 googlebot;這項設定並未要求所有搜尋引擎都不要收錄。
  • PDF、影片或圖片:可透過 HTTP 回應標頭傳送 X-Robots-Tag: noindex,不必依靠 HTML 標記。

使用 Wix、WordPress 或 Blogger 等 CMS 時,平台可能提供搜尋引擎設定或其他機制,讓你不必直接編輯 HTML;但仍須確認實際提供的是哪一種設定。不同搜尋引擎對規則可能有不同解讀,不能保證所有搜尋服務都會以相同方式處理。

robots.txt 擋住檢索,也可能擋住排除指令

不要同時用 robots.txt 封鎖希望套用 noindex 的資源。例如某頁已加入 noindex,卻又禁止 Googlebot 存取,檢索器便看不到新規則;若其他網頁連向該網址,它仍可能出現在搜尋結果中。

Google 文件指出,當 Googlebot 能存取網頁並讀到 noindex 時,該頁就會被排除在搜尋結果之外,即使其他網站有連結也一樣。此外,Google 不支援把 noindex 寫在 robots.txt 裡,不能用這種方式取代 meta 標記或回應標頭。

敏感內容需要限制誰能讀取

選擇方法前,應先分清楚目標是「可以公開,但不要出現在搜尋結果」,還是「未獲授權的人不能閱讀」。noindex 處理的是搜尋索引,不能代替登入驗證。技術社群討論建議,後台等不應公開的內容應採用要求登入等存取控制。這是存取安全的建議,不是 Google 官方索引規則。

設定完成,不代表搜尋結果立即更新

Google 必須重新檢索網頁,才能發現新增的 noindex。Google 官方文件指出,再次檢索可能需要幾個月,取決於網頁在網際網路上的重要性。你可以透過網址檢查工具要求重新檢索,但這不保證網頁會立即從搜尋結果消失。若需要立即從 Google 搜尋結果移除網頁,文件另有移除作業說明可供參考;一般的 noindex 設定不是即時下架工具。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

排除搜尋收錄的網路各方意見

大量頁面都不想被收錄時,逐頁設定有什麼限制?

主要限制是頁面數量很大時,逐頁處理可能難以執行。逐頁設定仍可控制個別網頁是否被收錄,沒有伺服器 root 權限時也值得考慮。部分 CMS 可能提供搜尋引擎設定或加入標記的其他方式,可先確認網站支援哪些設定,再評估如何處理大量頁面。

如何初步找出可能多餘的收錄頁面?

可用搜尋引擎的 site 指令查看某網域的部分已收錄網址,再檢查結果中是否有不希望出現的頁面;也可將 Search Console 的索引數與實際有效頁面數比較。site 查詢只能看到部分網址,數量比較則有助於發現異常,仍需確認具體受影響的頁面。

哪些頁面值得先檢查是否需要排除?

未完成或測試中的頁面值得優先檢查:不完整或錯誤資料可能使使用者困惑,測試站內容也可能與日後正式站重複。排除前應確認設定會影響哪些頁面,尤其留意已有重要排名的頁面,避免因誤設而將它們移出索引。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 使用「noindex」禁止 Google 搜尋建立索引 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:大量頁面都不想被收錄時,逐頁設定有什麼限制?
  2. How to stop certain urls from being indexedwebmasters.stackexchange.com — 本文論述的參考來源。
  3. 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 討論:大量頁面都不想被收錄時,逐頁設定有什麼限制?;如何初步找出可能多餘的收錄頁面?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR