如何用 robots.txt 排除整個目錄及其子頁?

ProcrustesPR

要限制爬蟲爬取 /first_url、/second_url 及其子頁,可在 robots.txt 中指定適用的 User-agent,再分別加入 Disallow: /first_url 與 Disallow: /second_url。這是公開討論提出的寫法;若使用 /first_url/*,也不需要在星號後再加斜線。設定前須確認實際路徑與適用爬蟲,並注意:限制爬取不等於禁止收錄,也無法防止他人存取內容。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先指定爬蟲,再列出兩個排除路徑

若要對遵守協定的爬蟲設定通用限制,可將以下三行寫入網站根目錄的 robots.txt 純文字檔,每個指令各占一行:

User-agent: *
Disallow: /first_url
Disallow: /second_url

User-agent: * 用來設定通用的爬蟲規則;兩條 Disallow 則列出不希望被爬取的路徑。公開討論中的一則回答指出,在這個例子中,直接寫 /first_url 即可限制主路徑及其子頁的爬取,不必在結尾加上萬用字元。實際套用時,仍應核對目標網址,不要只憑網站選單名稱填寫路徑。

  • 確認 /first_url/product1 等子頁確實位於目標路徑下。
  • 若只限制某一爬蟲,應填入它的識別名稱,而非直接使用星號。
  • 若現有檔案已有不同爬蟲的專屬區塊,應一併檢查;需要不同限制的爬蟲可分開設定。

星號後的斜線不必保留

有讀者提出 Disallow: /first_url/*/ 的寫法,在星號後又加了一個斜線。針對同一情境,另一則公開回答建議使用 /first_url/* 與 /second_url/*,並明確表示不需要最後那個斜線。因此,不必把 /*/ 當成「包含所有子目錄」的必要格式。

另有討論以 Disallow: /example/ 示範排除目錄。要注意,目錄名稱後的斜線,與星號後額外添加的斜線不是同一件事。不要未經確認,就把 /first_url 與 /first_url/ 當成完全相同的目標。這裡要限制的範圍也包括不帶結尾斜線的主網址,因此不能只檢查子頁。

排除爬取之前,先分清楚真正目的

若目的是減少大量標籤頁或整段路徑的爬取,可以使用 Disallow。一篇 2021 年的文章同時提醒:若還有索引問題,應先處理;停止爬取不能取代從搜尋結果中移除頁面。

若目的是保護敏感內容,單靠 robots.txt 並不足夠。它只約束願意遵守規則的爬蟲,不會阻止一般訪客直接開啟頁面。需要保密的資料應使用身分驗證等存取控制。部署前,應分別確認「哪些網址不讓爬」「哪些內容不想被收錄」與「哪些資料不能公開」,避免試圖用同一份設定解決三種不同需求。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 排除目錄的網路各方意見

如果目錄中的頁面已被收錄,應先處理什麼?

若也希望處理已收錄頁面的索引問題,相關文章建議先處理索引,再用 robots.txt 排除大量路徑。另有討論提醒,robots.txt 限制爬取後,爬蟲可能無法讀取頁面上的 noindex,因此兩種設定需要配合使用。該討論也提醒,noindex 本身不能保證頁面一定不被收錄。

子頁帶有查詢參數時,一定要在路徑後加星號嗎?

不一定,公開討論對此有不同說法。一則回答認為,要讓規則匹配 /url/test?test=1,需要使用 Disallow: /url/*;另一則針對類似路徑的回答則表示,結尾的萬用字元會被忽略,直接寫路徑即可。僅憑這些討論,不能認定所有情況都必須加星號。實際設定時,仍應確認規則對目標爬蟲及含參數網址的效果。

限制特定 AI 爬蟲,是否也能控制內容後續用途?

不一定。可以在特定爬蟲的 User-agent 區塊下,以 Disallow 列出不希望它爬取的目錄;但標準 robots.txt 規則規範的是遵守協定的爬蟲可否爬取,不直接控制內容被爬取後如何使用。若要表達其他用途上的限制,需另行確認適用的控制方式。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 討論:如果目錄中的頁面已被收錄,應先處理什麼?
  2. Google Explains 503s, Robots.txt Limits & Bracket URLs – SEO Pulsewww.searchenginejournal.com · 2026-10-24T12:00:00+00:00 — 討論:限制特定 AI 爬蟲,是否也能控制內容後續用途?
  3. 用 robots.txt、noindex 限制搜尋引擎抓網站資料www.da-vinci.com.tw · 2022-09-11T23:38:01+08:00 — 討論:如果目錄中的頁面已被收錄,應先處理什麼?
  4. How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
  5. How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 討論:子頁帶有查詢參數時,一定要在路徑後加星號嗎?
  6. How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 討論:子頁帶有查詢參數時,一定要在路徑後加星號嗎?
  7. Should I Block AI Crawlers At Robots.txt Or Server Level? – Ask An SEOwww.searchenginejournal.com · 2026-09-03T12:00:18+00:00 — 討論:限制特定 AI 爬蟲,是否也能控制內容後續用途?
  8. How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 本文論述的參考來源。
  9. How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR