可以用 Disallow 封鎖整站或資料夾,再用 Allow 開放特定路徑,但前提是目標爬蟲支援 Allow,並優先採用路徑較具體的規則。公開討論中有這類設定示例。不過,這控制的是能否爬取,不保證只有指定頁面會被索引。若要開放首頁,還要確認實際網址與轉址目的地。
封鎖整站,再開放指定路徑
Webmasters Stack Exchange 的討論提供了一組設定,以下保留其中兩個例外:
User-agent: *
Disallow: /
Allow: /index.html
Allow: /example/
這組設定用 Disallow: / 封鎖整站,再以 Allow 開放 /index.html 與 /example/ 路徑。該回答以 Google、Bing 為例,說明路徑較長、較具體的規則會優先於路徑較短的規則,而不是「後寫的覆蓋先寫的」。因此,重點不是把 Allow 排在最後,而是確認例外路徑,以及爬蟲如何解讀規則。這是該討論的說明,不代表所有爬蟲都採用相同規則。
封鎖資料夾,也能設定內部例外
把同一原理套用到資料夾,可寫成:
User-agent: *
Disallow: /docs/
Allow: /docs/public.html
若爬蟲依上述方式判定,/docs/public.html 比 /docs/ 更具體,因此可以在封鎖 /docs/ 的同時,允許爬取 /docs/public.html。這是依上述原理延伸的示例,尚未針對特定網站測試。
不過,相關資料對 Allow 的說法並不一致。其中一段引文稱「沒有 Allow 欄位」,並建議把要禁止爬取的檔案移到另一個目錄;另有回覆指出,這種說法僅部分正確,並提供 Allow 的相關資料。因此,不能把這些說法當成一致的結論,也不能把「沒有 Allow」視為現行通則。
允許首頁檔名,不一定允許真正的首頁
另一則討論指出,若 /index.php 會轉址到 /,只允許 /index.php,轉址目的地仍可能被封鎖。兩個網址即使呈現同一頁,也不能在設定時視為同一個路徑。
- 先確認首頁實際使用 /、/index.html,還是其他網址。
- 有轉址時,同時檢查目的地是否被封鎖。
- 不要直接把範例中的首頁檔名照搬到自己的網站。
限制爬取與排除索引,要分開處理
設定前應先釐清:目標是阻止爬蟲抓取,還是讓頁面不出現在搜尋結果中?Allow 例外用來調整爬取範圍,不能單靠這組規則排除索引。
Screaming Frog 的 2021 年文章說明,可用 Disallow 限制爬蟲抓取大量頁面或整段路徑,但強調應先處理索引問題。2024 年的 Harris 文章也區分爬取與索引,建議不希望頁面出現在搜尋結果時,考慮用 meta robots 控制索引。
robots.txt 封鎖與例外的網路各方意見
每個要封鎖的資料夾都需要自己的 robots.txt 嗎?
既然預設允許,什麼時候還需要寫 Allow?
例外規則可以放心使用萬用字元嗎?
若規則含萬用字元,不宜只憑一般的路徑長度原則推定結果。所附討論引述的文件稱,含萬用字元規則的優先順序未定義;這是該討論所引資料的說法,不能直接視為所有爬蟲的現行規則。實際設定應依目標爬蟲的文件與測試結果確認。
參考資料
- Robots.txt and specific file inclusionwebmasters.stackexchange.com — 本文論述的參考來源。
- Robots.txt In SEO ?www.warriorforum.com — 討論:每個要封鎖的資料夾都需要自己的 robots.txt 嗎?
- Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 本文論述的參考來源。
- Robots.txt and specific file inclusionwebmasters.stackexchange.com — 本文論述的參考來源。
- 技術性SEO:打造高品質網站,提升搜尋引擎排名tenten.co · 2024-12-25T18:03:57.000Z — 討論:每個要封鎖的資料夾都需要自己的 robots.txt 嗎?
- robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 本文論述的參考來源。
- Will googlebot index my index.php even with an htaccess redirect?webmasters.stackexchange.com — 本文論述的參考來源。
- Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:既然預設允許,什麼時候還需要寫 Allow?
- Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:既然預設允許,什麼時候還需要寫 Allow?;例外規則可以放心使用萬用字元嗎?



