要阻止帶有 widgetCacheId 參數的網址被收錄,應讓這些網址回傳 noindex,並允許搜尋引擎爬取、讀取指令,而不只是透過 robots.txt 禁止爬取。相關技術討論支持兩種做法:在 HTML 頁面使用 robots 中繼標籤,或透過 HTTP 回應標頭送出 X-Robots-Tag。設定應只套用在不希望收錄的參數網址,避免連希望保留在搜尋結果中的頁面也一起排除。
先分清楚:不讓爬取,不等於不讓收錄
原始 WordPress 提問描述,網站出現了未另行建立或發布的網址。這些網址帶有 widgetCacheId 參數,顯示的內容與原頁相同。因此,要處理的是帶參數的版本;但僅憑這些現象,無法判定網址由哪個外掛產生,也不能認定網站遭到入侵。
robots.txt 的 Disallow 控制的是爬取。相關討論中的回答指出,搜尋引擎即使沒有爬取頁面,也可能收錄已知的網址。因此,禁止爬取不等於阻止收錄,也不等於移除已收錄的網址。如果目標是不讓網址出現在搜尋結果,就應使用索引控制,不能只封鎖爬蟲。
讓需要排除的網址回傳 noindex
處理時,先辨識要排除的參數網址,再讓這些網址的回應帶有 noindex。以這個案例來說,應分別檢視不含該參數的原網址與帶有 widgetCacheId 的版本,避免對整站套用相同的排除設定。
- HTML 頁面:在每個需要排除的頁面加入 robots 中繼標籤,設定 noindex,不能只改首頁。
- HTTP 回應標頭:使用 X-Robots-Tag: noindex。相關技術討論指出,這種方式也適用於 PDF、影音等非 HTML 文件。
- 允許爬取:確認目標網址沒有同時被 robots.txt 禁止爬取,否則搜尋引擎可能無法讀到 noindex 指令。
已經收錄時,別讓封鎖擋住新指令
有些論壇回覆建議同時使用 robots.txt 與 noindex,但另一些回答指出,兩者可能互相妨礙:即使頁面加了標籤,被擋住的爬蟲仍看不到更新。對已收錄的參數網址,這點尤其重要。
綜合這些討論,較合適的做法是讓目標網址回傳 noindex,並保持可爬取,讓搜尋引擎有機會重新讀取指令。不能把「已寫入 Disallow」當成已成功移除收錄,也不能保證網址在修改後立刻從搜尋結果消失。
這些設定控制的是搜尋收錄,不是存取權限。若內容本身不應公開,仍須另外設定登入要求或其他存取限制。
特定參數網址的網路各方意見
只想排除參數網址,還需要加上 nofollow 嗎?
如果帶參數的網址回傳 PDF 或影音,該怎麼處理?
參考資料
- How to Disallow links in googlewww.warriorforum.com — 本文論述的參考來源。
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:如果帶參數的網址回傳 PDF 或影音,該怎麼處理?
- How to Disallow links in googlewww.warriorforum.com — 本文論述的參考來源。
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:加上 noindex 後,其他人就無法看到頁面嗎?
- How to Disallow links in googlewww.warriorforum.com — 討論:只想排除參數網址,還需要加上 nofollow 嗎?
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:只想排除參數網址,還需要加上 nofollow 嗎?;加上 noindex 後,其他人就無法看到頁面嗎?
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 討論:如果帶參數的網址回傳 PDF 或影音,該怎麼處理?



