要限制爬蟲爬取 /first_url、/second_url 及其子頁,可在 robots.txt 中指定適用的 User-agent,再分別加入 Disallow: /first_url 與 Disallow: /second_url。這是公開討論提出的寫法;若使用 /first_url/*,也不需要在星號後再加斜線。設定前須確認實際路徑與適用爬蟲,並注意:限制爬取不等於禁止收錄,也無法防止他人存取內容。
先指定爬蟲,再列出兩個排除路徑
若要對遵守協定的爬蟲設定通用限制,可將以下三行寫入網站根目錄的 robots.txt 純文字檔,每個指令各占一行:
User-agent: *
Disallow: /first_url
Disallow: /second_url
User-agent: * 用來設定通用的爬蟲規則;兩條 Disallow 則列出不希望被爬取的路徑。公開討論中的一則回答指出,在這個例子中,直接寫 /first_url 即可限制主路徑及其子頁的爬取,不必在結尾加上萬用字元。實際套用時,仍應核對目標網址,不要只憑網站選單名稱填寫路徑。
- 確認 /first_url/product1 等子頁確實位於目標路徑下。
- 若只限制某一爬蟲,應填入它的識別名稱,而非直接使用星號。
- 若現有檔案已有不同爬蟲的專屬區塊,應一併檢查;需要不同限制的爬蟲可分開設定。
星號後的斜線不必保留
有讀者提出 Disallow: /first_url/*/ 的寫法,在星號後又加了一個斜線。針對同一情境,另一則公開回答建議使用 /first_url/* 與 /second_url/*,並明確表示不需要最後那個斜線。因此,不必把 /*/ 當成「包含所有子目錄」的必要格式。
另有討論以 Disallow: /example/ 示範排除目錄。要注意,目錄名稱後的斜線,與星號後額外添加的斜線不是同一件事。不要未經確認,就把 /first_url 與 /first_url/ 當成完全相同的目標。這裡要限制的範圍也包括不帶結尾斜線的主網址,因此不能只檢查子頁。
排除爬取之前,先分清楚真正目的
若目的是減少大量標籤頁或整段路徑的爬取,可以使用 Disallow。一篇 2021 年的文章同時提醒:若還有索引問題,應先處理;停止爬取不能取代從搜尋結果中移除頁面。
若目的是保護敏感內容,單靠 robots.txt 並不足夠。它只約束願意遵守規則的爬蟲,不會阻止一般訪客直接開啟頁面。需要保密的資料應使用身分驗證等存取控制。部署前,應分別確認「哪些網址不讓爬」「哪些內容不想被收錄」與「哪些資料不能公開」,避免試圖用同一份設定解決三種不同需求。
robots.txt 排除目錄的網路各方意見
如果目錄中的頁面已被收錄,應先處理什麼?
子頁帶有查詢參數時,一定要在路徑後加星號嗎?
參考資料
- Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 討論:如果目錄中的頁面已被收錄,應先處理什麼?
- Google Explains 503s, Robots.txt Limits & Bracket URLs – SEO Pulsewww.searchenginejournal.com · 2026-10-24T12:00:00+00:00 — 討論:限制特定 AI 爬蟲,是否也能控制內容後續用途?
- 用 robots.txt、noindex 限制搜尋引擎抓網站資料www.da-vinci.com.tw · 2022-09-11T23:38:01+08:00 — 討論:如果目錄中的頁面已被收錄,應先處理什麼?
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
- How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 討論:子頁帶有查詢參數時,一定要在路徑後加星號嗎?
- How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 討論:子頁帶有查詢參數時,一定要在路徑後加星號嗎?
- Should I Block AI Crawlers At Robots.txt Or Server Level? – Ask An SEOwww.searchenginejournal.com · 2026-09-03T12:00:18+00:00 — 討論:限制特定 AI 爬蟲,是否也能控制內容後續用途?
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 本文論述的參考來源。
- How do I disallow an entire directory with robots.txt?webmasters.stackexchange.com — 本文論述的參考來源。



