以 robots.txt 封鎖已排名頁面,會有什麼影響?

ProcrustesPR

以 robots.txt 封鎖已排名頁面,會限制爬取,但不會直接移除索引。頁面仍可能出現在搜尋結果,排名卻不一定維持不變。Ahrefs 曾對兩個頁面進行測試,發現排名變動有限,但搜尋結果的呈現方式、精選摘要與點擊都有變化。因此,「還搜得到」不代表沒有影響,也不宜用封鎖爬取取代移除搜尋結果的措施。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

停止爬取,不代表既有索引立即消失

Semrush 2024 年的篩選頁面指南指出,robots.txt 用來阻止爬取,不會直接將已索引的頁面移出搜尋結果。若要讓頁面退出搜尋結果,可使用 noindex,但必須讓搜尋引擎能爬取頁面,才能讀到這個標籤。

這也解釋了為什麼「封鎖後再補標籤」可能無效。Stack Exchange 的一則回答提醒,若頁面已被索引,同時封鎖爬取並新增 meta 標籤,搜尋引擎就會因封鎖而看不到更新。兩種設定一起使用,不一定更有效,反而可能互相妨礙。

兩頁測試:排名變動有限,曝光形式卻改變

Ahrefs 的 Patrick Stox 在 2023 年的一篇文章中記錄了這項測試:他自當年 1 月 30 日起封鎖兩篇已排名文章,並觀察近五個月。結果包括:

  • 部分關鍵字的排名下降一兩名,也有部分上升;整體估計流量的變化小於作者預期。
  • 兩頁都失去所有精選摘要。搜尋結果不再顯示自訂標題,原本的描述也改成「無資訊可用」的訊息。
  • 曝光與點擊都下降,但點擊降幅更大。作者認為,搜尋結果的呈現方式可能比排名下滑更影響點擊;這是他的解讀,並非已證實的因果關係。

作者推測,Google 可能仍依據先前讀取的內容決定排名,但未能確認。他也懷疑,長期封鎖可能讓 Google 不再信任舊內容,不過測試期間沒有看到相關證據。解除封鎖後,其中一篇很快恢復了部分精選摘要。這些觀察仍不足以證明,封鎖必然會讓所有頁面失去精選摘要資格。

這只是兩個頁面過去的測試結果,不能保證現在的排名表現。作者也明確不建議照做,並提醒其他網站可能得到不同結果。

先分清楚:要保留排名,還是退出搜尋?

  • 希望繼續取得搜尋曝光:先確認是否誤封重要頁面。Semrush 2024 年的說明指出,刻意封鎖不一定是問題,但若封鎖了不該封鎖的頁面,就需要處理。
  • 希望低價值頁面退出搜尋:Semrush 的篩選頁面指南建議,已排名的低價值篩選頁應先使用 noindex,並讓搜尋引擎能爬取頁面、讀到標籤。待頁面移出搜尋結果後,再以 robots.txt 限制爬取。

例如,商品篩選可能產生大量近似網址。節省這些網址的爬取資源,與將它們移出既有搜尋結果,是兩個不同目標,不能把一條封鎖規則當成同時達成兩者的方法。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

封鎖頁面後,其他網站的連結還會影響它被發現嗎?

可能會。robots.txt 限制的是爬取,並不直接控制索引。即使頁面遭封鎖,搜尋引擎仍可能透過其他網站的連結發現並索引該網址。因此,封鎖爬取不能可靠地防止搜尋引擎發現網址,實際結果也可能因搜尋引擎而異。

頁面本身沒被封鎖,還需要檢查 robots.txt 嗎?

需要,尤其是主要內容依賴 JavaScript 載入時。如果 robots.txt 封鎖了必要的 JavaScript 檔案,爬蟲可能看不到由它載入的內容。可檢查受封鎖的資源,必要時請開發人員辨識哪些檔案對內容呈現不可或缺;這與頁面網址本身是否遭封鎖是不同問題。

設定封鎖範圍時,為什麼要特別小心?

因為規則若涵蓋了原本想保留曝光的重要頁面,影響可能不只限於預定網址。2018 年的一篇文章提醒,針對資料夾的設定若出錯,可能影響整站收錄及既有排名。是否構成問題仍取決於封鎖是否符合目的,因此應先確認規則實際涵蓋哪些頁面。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Crawlability & Indexability: What They Are & How They Affect SEOwww.semrush.com · 2016-11-01T13:00:00Z — 討論:封鎖頁面後,其他網站的連結還會影響它被發現嗎?
  2. robots.txt是什麼? robots.txt設定、用途與使用範例分享!welly.tw · 2022-01-13T05:20:36.169Z — 討論:封鎖頁面後,其他網站的連結還會影響它被發現嗎?
  3. The Story of Blocking 2 High-Ranking Pages With Robots.txtahrefs.com · 2023-07-10T02:11:55+00:00 — 本文論述的參考來源。
  4. 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 討論:設定封鎖範圍時,為什麼要特別小心?
  5. Faceted Navigation: An SEO Win Waiting to Happenwww.semrush.com · 2024-12-20T15:47:00Z — 本文論述的參考來源。
  6. Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:設定封鎖範圍時,為什麼要特別小心?
  7. 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 討論:頁面本身沒被封鎖,還需要檢查 robots.txt 嗎?
  8. How to stop certain urls from being indexedwebmasters.stackexchange.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR