robots.txt 能否封鎖整站或資料夾,再允許特定路徑?

ProcrustesPR

可以用 Disallow 封鎖整站或資料夾,再用 Allow 開放特定路徑,但前提是目標爬蟲支援 Allow,並優先採用路徑較具體的規則。公開討論中有這類設定示例。不過,這控制的是能否爬取,不保證只有指定頁面會被索引。若要開放首頁,還要確認實際網址與轉址目的地。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

封鎖整站,再開放指定路徑

Webmasters Stack Exchange 的討論提供了一組設定,以下保留其中兩個例外:

User-agent: *
Disallow: /
Allow: /index.html
Allow: /example/

這組設定用 Disallow: / 封鎖整站,再以 Allow 開放 /index.html 與 /example/ 路徑。該回答以 Google、Bing 為例,說明路徑較長、較具體的規則會優先於路徑較短的規則,而不是「後寫的覆蓋先寫的」。因此,重點不是把 Allow 排在最後,而是確認例外路徑,以及爬蟲如何解讀規則。這是該討論的說明,不代表所有爬蟲都採用相同規則。

封鎖資料夾,也能設定內部例外

把同一原理套用到資料夾,可寫成:

User-agent: *
Disallow: /docs/
Allow: /docs/public.html

若爬蟲依上述方式判定,/docs/public.html 比 /docs/ 更具體,因此可以在封鎖 /docs/ 的同時,允許爬取 /docs/public.html。這是依上述原理延伸的示例,尚未針對特定網站測試。

不過,相關資料對 Allow 的說法並不一致。其中一段引文稱「沒有 Allow 欄位」,並建議把要禁止爬取的檔案移到另一個目錄;另有回覆指出,這種說法僅部分正確,並提供 Allow 的相關資料。因此,不能把這些說法當成一致的結論,也不能把「沒有 Allow」視為現行通則。

允許首頁檔名,不一定允許真正的首頁

另一則討論指出,若 /index.php 會轉址到 /,只允許 /index.php,轉址目的地仍可能被封鎖。兩個網址即使呈現同一頁,也不能在設定時視為同一個路徑。

  • 先確認首頁實際使用 /、/index.html,還是其他網址。
  • 有轉址時,同時檢查目的地是否被封鎖。
  • 不要直接把範例中的首頁檔名照搬到自己的網站。

限制爬取與排除索引,要分開處理

設定前應先釐清:目標是阻止爬蟲抓取,還是讓頁面不出現在搜尋結果中?Allow 例外用來調整爬取範圍,不能單靠這組規則排除索引。

Screaming Frog 的 2021 年文章說明,可用 Disallow 限制爬蟲抓取大量頁面或整段路徑,但強調應先處理索引問題。2024 年的 Harris 文章也區分爬取與索引,建議不希望頁面出現在搜尋結果時,考慮用 meta robots 控制索引。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 封鎖與例外的網路各方意見

每個要封鎖的資料夾都需要自己的 robots.txt 嗎?

不需要。公開討論指出,可以在同一個 robots.txt 中,以斜線開頭的資料夾路徑指定允許或禁止;另一篇資料說明,這個檔案通常放在網站根目錄。設定時應確認路徑與目標爬蟲,並檢查是否誤封原本需要抓取的內容。

既然預設允許,什麼時候還需要寫 Allow?

當你用較廣泛的規則封鎖,再想開放其中某個路徑時,就需要用 Allow 明確指定例外。一則討論指出,未被禁止的路徑預設允許爬取,因此有些設定只需寫 Disallow。不過,要讓 Allow 例外生效,目標爬蟲必須支援 Allow,並優先採用路徑較具體的規則。

例外規則可以放心使用萬用字元嗎?

若規則含萬用字元,不宜只憑一般的路徑長度原則推定結果。所附討論引述的文件稱,含萬用字元規則的優先順序未定義;這是該討論所引資料的說法,不能直接視為所有爬蟲的現行規則。實際設定應依目標爬蟲的文件與測試結果確認。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Robots.txt and specific file inclusionwebmasters.stackexchange.com — 本文論述的參考來源。
  2. Robots.txt In SEO ?www.warriorforum.com — 討論:每個要封鎖的資料夾都需要自己的 robots.txt 嗎?
  3. Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 本文論述的參考來源。
  4. Robots.txt and specific file inclusionwebmasters.stackexchange.com — 本文論述的參考來源。
  5. 技術性SEO:打造高品質網站,提升搜尋引擎排名tenten.co · 2024-12-25T18:03:57.000Z — 討論:每個要封鎖的資料夾都需要自己的 robots.txt 嗎?
  6. robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 本文論述的參考來源。
  7. Will googlebot index my index.php even with an htaccess redirect?webmasters.stackexchange.com — 本文論述的參考來源。
  8. Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:既然預設允許,什麼時候還需要寫 Allow?
  9. Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:既然預設允許,什麼時候還需要寫 Allow?;例外規則可以放心使用萬用字元嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR