robots.txt 封鎖的頁面是否仍應放入 XML 網站地圖?

ProcrustesPR

一般不應。依下文引用的實務建議,刻意以 robots.txt 阻擋爬取的頁面,不應同時列入 XML 網站地圖。以 404Error.aspx 為例,若不希望使用者透過搜尋找到這個頁面,可將它從網站地圖排除;但這不等於已阻止索引。若它其實是希望出現在搜尋結果的重要頁面,則應檢查是否誤設封鎖,而不是只刪除網站地圖中的項目。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

網站地圖與 robots.txt 的設定應符合頁面用途

Neil Patel 網站於 2018 年的文章指出,把網址列入網站地圖,卻又禁止爬取,是互相矛盾的安排。Semrush 標示日期為 2021 年的資料,也建議排除被 robots.txt 封鎖或設有 noindex 的頁面。這些是實務建議,本文未核實它們是否符合現行 Google 官方規則。

  • 希望使用者透過搜尋找到的頁面:這類內容頁應列入網站地圖,並避免誤設封鎖或 noindex。
  • 只供站內操作使用的頁面:若不需要出現在搜尋結果中,通常不列入網站地圖;但仍須分清楚,要限制的是爬取還是索引。

不讓爬取,不代表不會出現在搜尋結果

Webmasters Stack Exchange 的討論指出,robots.txt 限制的是爬取,不能單靠它確保網址不被索引。Screaming Frog 的 2015 年文章也提到,被封鎖的網址若有內部或外部連結指向,仍可能被索引並出現在搜尋結果中。因此,設定了 Disallow 規則,不代表網址已從搜尋結果移除。

若目標是阻止索引,noindex 才是針對索引的標記。但若 robots.txt 仍阻擋爬取,不能只加上 noindex 就認為問題已解決。上述 2018 年文章明確提醒,不要對同一頁面同時使用 noindex 與 robots.txt 封鎖。

將網址移出網站地圖也不能阻止索引。另一則公開討論指出,網站地圖無法要求搜尋引擎不要爬取未列出的網址。

404Error.aspx 要按實際狀態處理

這個案例只提供檔名,未提供 HTTP 回應狀態,因此不能單憑名稱斷定頁面真的回傳 404。可依下列情況判斷:

  • 實際回傳 404:awoo 於 2022 年的文章建議更新網站地圖,排除不存在的網址,並檢查指向這些網址的連結是否需要調整。
  • 刻意封鎖的工具性頁面:從網站地圖移除,但不要以為這樣就能阻止索引。
  • 重要頁面遭誤擋:先檢查 Disallow 規則。awoo 的資料建議修改封鎖規則,或將頁面移出被封鎖的目錄。
ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 封鎖與網站地圖收錄的網路各方意見

被封鎖的網址如果仍有連結指向,會有什麼影響?

Screaming Frog 在 2015 年指出,被封鎖的網址若有內部或外部連結指向,仍可能累積 PageRank,也可能出現在搜尋結果。Google 無法爬取該頁內容,也就無法讀取頁面上指向其他頁面的連結,繼續傳遞 PageRank。因此,這類網址可能成為連結路徑的死路。文章建議一併檢視被封鎖網址的數量、連結情況,以及它們位於網站多深的層級。這是分析時可考慮的可能性,不代表每個封鎖頁都會造成問題。

為什麼不能假設被封鎖頁面上的 noindex 一定會生效?

因為 robots.txt 封鎖會使 Google 無法爬取頁面內容,也就無法讀到頁面內的 noindex 標記。2018 年的一篇文章也提醒,不要對同一頁面同時使用 noindex 與 robots.txt 封鎖。若要用頁面內的 noindex 處理索引問題,就不能一邊阻擋爬取,一邊假設搜尋引擎已讀到標記。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Should I include everything in the sitemap or only new content?webmasters.stackexchange.com — 本文論述的參考來源。
  2. What Is a Sitemap? Website Sitemaps Explainedwww.semrush.com · 2021-05-24T11:55:00Z — 本文論述的參考來源。
  3. How can I clone or mirror a site without SEO penalties for duplicate content?webmasters.stackexchange.com — 本文論述的參考來源。
  4. Want More Traffic? Deindex Your Pages. Here’s Why.neilpatel.com · 2018-03-06T19:00:42+00:00 — 討論:為什麼不能假設被封鎖頁面上的 noindex 一定會生效?
  5. Screaming Frog SEO Spider Update – Version 5.0www.screamingfrog.co.uk · 2015-09-04T13:41:52+00:00 — 討論:被封鎖的網址如果仍有連結指向,會有什麼影響?;為什麼不能假設被封鎖頁面上的 noindex 一定會生效?
  6. 檢索預算(Crawl Budget)是什麼?中大型網站不可不知的SEO項目!www.awoo.ai · 2022-05-24T06:21:55+00:00 — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR