不宜把搜尋結果頁與標籤頁一律用 robots.txt 封鎖。若目標是減少爬蟲存取大量有問題的動態網址,可考慮封鎖檢索;若目標是不讓頁面出現在搜尋結果,應使用 noindex,並讓爬蟲能讀取這項指令。標籤頁則要另外判斷用途與內容價值,不能只因為它是列表頁,或跳出率高,就決定封鎖。
搜尋結果頁:先問要停止檢索,還是排除索引
Google 文件建議,若發現爬蟲正在檢索有問題的網址,可考慮以 robots.txt 封鎖搜尋結果、排序、篩選及可能無限延伸的網址。這是處理檢索問題的建議,不代表所有動態頁面都必須封鎖。
- 不希望頁面出現在搜尋結果:使用 noindex,但不要同時以 robots.txt 阻止爬蟲讀取該頁,否則爬蟲無法取得這項指令。
- 不希望大量網址持續被爬取:可考慮使用 robots.txt 的 Disallow 指令。若還有索引問題,應先處理;停止爬取不代表頁面已從索引中移除。
例如,站內搜尋結果仍可供訪客使用,卻不一定適合作為訪客從外部搜尋引擎進入網站的到達頁。因此,是否排除索引與是否禁止檢索,應分開判斷。
標籤頁:判斷它能否幫訪客找到所需內容
標籤頁不必與任意查詢產生的搜尋結果頁採取相同設定。awoo 在 2019 年的文章指出,標籤有助使用者找到內容,但標籤頁通常內容較少,與分類、文章或商品頁相比,競爭力可能較低。這是內容經營建議,不是 Google 要求封鎖標籤頁的規則。
以列出相關商品的電商標籤頁為例,可以檢查標籤描述是否貼合商品、商品歸類是否適當,以及頁面是否讓訪客更容易找到所需內容。應評估頁面的實際用途,不能單靠網址名稱決定去留。
一位電商網站的提問者表示,網站的標籤頁有簡介及商品用途說明,跳出率卻超過 90%。但這只是提問者對該網站的描述與疑慮,沒有證據證明 Google 已因此將這些頁面判定為低品質或降低其排名;不能把這個數字當成封鎖門檻。
整批處理大量無價值頁面前,先解決索引問題
Screaming Frog 在 2021 年的文章指出,需要阻止爬蟲存取整條路徑或大量頁面時,可以使用 robots.txt。文章尤其關注大型網站的檢索資源,並強調應先解決索引問題。
awoo 的 2025 年報導也提供一個超過一億頁的案例:無價值的標籤頁設為 noindex,API 頁則以 robots.txt 阻擋。這個案例說明,不同頁面可以採用不同工具,並不支持把所有標籤頁一律封鎖。
搜尋結果頁及標籤頁的網路各方意見
站內搜尋功能會被垃圾訊息利用嗎?
有這種可能。垃圾訊息發布者可能利用搜尋框產生包含垃圾關鍵字的網址,再大量連結到這些頁面;如果頁面可被索引,可能形成品質問題,甚至出現在搜尋結果中。Google 人員表示,遇到這類情況時,可能將頁面標記為遭駭;這不代表所有站內搜尋頁都已遭駭。
搜尋結果頁不適合作為到達頁,但仍希望爬蟲讀取連結,怎麼辦?
參考資料
- Google 搜尋的網址結構最佳做法 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- 分類 vs. 標籤 ,兩個重要性超強但常被忽略的 SEO 關鍵www.awoo.ai · 2019-09-05T07:14:22+00:00 — 討論:標籤頁跳出率高,是否表示應該封鎖?
- robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 討論:搜尋結果頁不適合作為到達頁,但仍希望爬蟲讀取連結,怎麼辦?
- Google May Treat Search Box Pages As A Site Quality Issuewww.searchenginejournal.com · 2026-07-31T11:24:14+00:00 — 討論:站內搜尋功能會被垃圾訊息利用嗎?
- Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 本文論述的參考來源。
- 【Search Central Live Deep Dive】Day1:SEO is Dead?AI 搜尋時代的 SEO 新解讀!|awoo 活動實記www.awoo.ai · 2025-07-24T06:56:02+00:00 — 本文論述的參考來源。
- Google Says Why It May Ignore Robots.txt And Negatively Impact SEOwww.searchenginejournal.com · 2026-07-25T10:17:52+00:00 — 討論:搜尋結果頁不適合作為到達頁,但仍希望爬蟲讀取連結,怎麼辦?
- Search and Tags for robots.txtwebmasters.stackexchange.com — 討論:標籤頁跳出率高,是否表示應該封鎖?
- Search and Tags for robots.txtwebmasters.stackexchange.com — 本文論述的參考來源。



