如何阻止帶有特定參數的網址被搜尋引擎收錄?

ProcrustesPR

要阻止帶有 widgetCacheId 參數的網址被收錄,應讓這些網址回傳 noindex,並允許搜尋引擎爬取、讀取指令,而不只是透過 robots.txt 禁止爬取。相關技術討論支持兩種做法:在 HTML 頁面使用 robots 中繼標籤,或透過 HTTP 回應標頭送出 X-Robots-Tag。設定應只套用在不希望收錄的參數網址,避免連希望保留在搜尋結果中的頁面也一起排除。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先分清楚:不讓爬取,不等於不讓收錄

原始 WordPress 提問描述,網站出現了未另行建立或發布的網址。這些網址帶有 widgetCacheId 參數,顯示的內容與原頁相同。因此,要處理的是帶參數的版本;但僅憑這些現象,無法判定網址由哪個外掛產生,也不能認定網站遭到入侵。

robots.txt 的 Disallow 控制的是爬取。相關討論中的回答指出,搜尋引擎即使沒有爬取頁面,也可能收錄已知的網址。因此,禁止爬取不等於阻止收錄,也不等於移除已收錄的網址。如果目標是不讓網址出現在搜尋結果,就應使用索引控制,不能只封鎖爬蟲。

讓需要排除的網址回傳 noindex

處理時,先辨識要排除的參數網址,再讓這些網址的回應帶有 noindex。以這個案例來說,應分別檢視不含該參數的原網址與帶有 widgetCacheId 的版本,避免對整站套用相同的排除設定。

  • HTML 頁面:在每個需要排除的頁面加入 robots 中繼標籤,設定 noindex,不能只改首頁。
  • HTTP 回應標頭:使用 X-Robots-Tag: noindex。相關技術討論指出,這種方式也適用於 PDF、影音等非 HTML 文件。
  • 允許爬取:確認目標網址沒有同時被 robots.txt 禁止爬取,否則搜尋引擎可能無法讀到 noindex 指令。

已經收錄時,別讓封鎖擋住新指令

有些論壇回覆建議同時使用 robots.txt 與 noindex,但另一些回答指出,兩者可能互相妨礙:即使頁面加了標籤,被擋住的爬蟲仍看不到更新。對已收錄的參數網址,這點尤其重要。

綜合這些討論,較合適的做法是讓目標網址回傳 noindex,並保持可爬取,讓搜尋引擎有機會重新讀取指令。不能把「已寫入 Disallow」當成已成功移除收錄,也不能保證網址在修改後立刻從搜尋結果消失。

這些設定控制的是搜尋收錄,不是存取權限。若內容本身不應公開,仍須另外設定登入要求或其他存取限制。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

特定參數網址的網路各方意見

只想排除參數網址,還需要加上 nofollow 嗎?

不一定。noindex 告訴搜尋引擎不要將該網址列入搜尋結果;nofollow 則是要求搜尋引擎不要追蹤頁面上的連結來尋找更多頁面。兩者用途不同。討論中有人同時使用兩者,但如果只是要讓帶有 widgetCacheId 參數的網址不被收錄,就不必因此一併加上 nofollow;應另外判斷是否需要限制搜尋引擎追蹤該頁的連結。

如果帶參數的網址回傳 PDF 或影音,該怎麼處理?

可以考慮讓該網址的 HTTP 回應帶有 X-Robots-Tag: noindex。這種方式不只適用於 HTML,也可用於 PDF、影音等文件。要讓搜尋引擎有機會讀到指令,仍須允許爬取目標網址;若只在 robots.txt 封鎖,網址本身仍可能被收錄。

加上 noindex 後,其他人就無法看到頁面嗎?

不會。加上 noindex 並不會阻止其他人瀏覽頁面。robots 中繼標籤提供的是搜尋引擎索引指令,不會限制瀏覽器或 HTTP 代理存取。若內容本來就不應公開,相關討論建議另外設定密碼保護,或在伺服器端限制哪些位址可以存取。讓頁面不出現在搜尋結果中,不等於保護了頁面的存取權限。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How to Disallow links in googlewww.warriorforum.com — 本文論述的參考來源。
  2. How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:如果帶參數的網址回傳 PDF 或影音,該怎麼處理?
  3. How to Disallow links in googlewww.warriorforum.com — 本文論述的參考來源。
  4. How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:加上 noindex 後,其他人就無法看到頁面嗎?
  5. How to Disallow links in googlewww.warriorforum.com — 討論:只想排除參數網址,還需要加上 nofollow 嗎?
  6. How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:只想排除參數網址,還需要加上 nofollow 嗎?;加上 noindex 後,其他人就無法看到頁面嗎?
  7. How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:如果帶參數的網址回傳 PDF 或影音,該怎麼處理?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR