以 robots.txt 封鎖已排名頁面,會限制爬取,但不會直接移除索引。頁面仍可能出現在搜尋結果,排名卻不一定維持不變。Ahrefs 曾對兩個頁面進行測試,發現排名變動有限,但搜尋結果的呈現方式、精選摘要與點擊都有變化。因此,「還搜得到」不代表沒有影響,也不宜用封鎖爬取取代移除搜尋結果的措施。
停止爬取,不代表既有索引立即消失
Semrush 2024 年的篩選頁面指南指出,robots.txt 用來阻止爬取,不會直接將已索引的頁面移出搜尋結果。若要讓頁面退出搜尋結果,可使用 noindex,但必須讓搜尋引擎能爬取頁面,才能讀到這個標籤。
這也解釋了為什麼「封鎖後再補標籤」可能無效。Stack Exchange 的一則回答提醒,若頁面已被索引,同時封鎖爬取並新增 meta 標籤,搜尋引擎就會因封鎖而看不到更新。兩種設定一起使用,不一定更有效,反而可能互相妨礙。
兩頁測試:排名變動有限,曝光形式卻改變
Ahrefs 的 Patrick Stox 在 2023 年的一篇文章中記錄了這項測試:他自當年 1 月 30 日起封鎖兩篇已排名文章,並觀察近五個月。結果包括:
- 部分關鍵字的排名下降一兩名,也有部分上升;整體估計流量的變化小於作者預期。
- 兩頁都失去所有精選摘要。搜尋結果不再顯示自訂標題,原本的描述也改成「無資訊可用」的訊息。
- 曝光與點擊都下降,但點擊降幅更大。作者認為,搜尋結果的呈現方式可能比排名下滑更影響點擊;這是他的解讀,並非已證實的因果關係。
作者推測,Google 可能仍依據先前讀取的內容決定排名,但未能確認。他也懷疑,長期封鎖可能讓 Google 不再信任舊內容,不過測試期間沒有看到相關證據。解除封鎖後,其中一篇很快恢復了部分精選摘要。這些觀察仍不足以證明,封鎖必然會讓所有頁面失去精選摘要資格。
這只是兩個頁面過去的測試結果,不能保證現在的排名表現。作者也明確不建議照做,並提醒其他網站可能得到不同結果。
先分清楚:要保留排名,還是退出搜尋?
- 希望繼續取得搜尋曝光:先確認是否誤封重要頁面。Semrush 2024 年的說明指出,刻意封鎖不一定是問題,但若封鎖了不該封鎖的頁面,就需要處理。
- 希望低價值頁面退出搜尋:Semrush 的篩選頁面指南建議,已排名的低價值篩選頁應先使用 noindex,並讓搜尋引擎能爬取頁面、讀到標籤。待頁面移出搜尋結果後,再以 robots.txt 限制爬取。
例如,商品篩選可能產生大量近似網址。節省這些網址的爬取資源,與將它們移出既有搜尋結果,是兩個不同目標,不能把一條封鎖規則當成同時達成兩者的方法。
主題的網路各方意見
封鎖頁面後,其他網站的連結還會影響它被發現嗎?
頁面本身沒被封鎖,還需要檢查 robots.txt 嗎?
需要,尤其是主要內容依賴 JavaScript 載入時。如果 robots.txt 封鎖了必要的 JavaScript 檔案,爬蟲可能看不到由它載入的內容。可檢查受封鎖的資源,必要時請開發人員辨識哪些檔案對內容呈現不可或缺;這與頁面網址本身是否遭封鎖是不同問題。
參考資料
- Crawlability & Indexability: What They Are & How They Affect SEOwww.semrush.com · 2016-11-01T13:00:00Z — 討論:封鎖頁面後,其他網站的連結還會影響它被發現嗎?
- robots.txt是什麼? robots.txt設定、用途與使用範例分享!welly.tw · 2022-01-13T05:20:36.169Z — 討論:封鎖頁面後,其他網站的連結還會影響它被發現嗎?
- The Story of Blocking 2 High-Ranking Pages With Robots.txtahrefs.com · 2023-07-10T02:11:55+00:00 — 本文論述的參考來源。
- 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 討論:設定封鎖範圍時,為什麼要特別小心?
- Faceted Navigation: An SEO Win Waiting to Happenwww.semrush.com · 2024-12-20T15:47:00Z — 本文論述的參考來源。
- Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:設定封鎖範圍時,為什麼要特別小心?
- 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 討論:頁面本身沒被封鎖,還需要檢查 robots.txt 嗎?
- How to stop certain urls from being indexedwebmasters.stackexchange.com — 本文論述的參考來源。



