若要開放網站爬取、只限制少數目錄,可以採用預設開放,逐項列出禁止路徑的方式:用 User-agent: * 指定規則適用於所有爬蟲,再以 Disallow 列出不希望爬取的目錄,不必另外加上 Allow: /。這套寫法適合作為起點,但沒有適用所有網站的封鎖清單。要限制哪些目錄,必須依網站內容決定;也要注意,robots.txt 不能用來控制存取權限。
基本設定:只列出要限制的目錄
假設網站只想限制 /example/ 與 /test/ 兩個目錄,其餘內容維持開放,檔案內容可以寫成:
User-agent: *
Disallow: /example/
Disallow: /test/
- 適用爬蟲:User-agent: * 表示這組規則面向所有爬蟲,但是否遵守仍取決於爬蟲本身。
- 限制目錄:兩行 Disallow 分別指定 /example/ 與 /test/,不是封鎖整個網站。
- 其餘路徑:在這份簡單設定中,未被禁止的路徑仍可爬取,不需要逐一列出。
這兩個目錄名稱只是範例,不代表你的網站有這些路徑。套用前應換成真正需要限制的目錄;若沒有任何限制需求,就不必為了「基本設定」而硬加封鎖規則。
放對位置,也別一開始就封鎖整站
robots.txt 應放在網站根目錄,而不是放進要限制的資料夾。awoo 的 2018 年文章也提醒,檔名應使用全小寫 robots.txt,不要改成 Robots.txt 或 robots.TXT。
如果只需要限制少數目錄,就不必先寫 Disallow: / 再逐一開放內容。Disallow: / 是整站禁止爬取的設定,不是「允許首頁」;若誤用,可能讓 Googlebot 無法讀取原本希望曝光的內容。只列出需要禁止爬取的路徑即可,不必增加多餘規則。
限制爬取,不等於保密或保證不收錄
robots.txt 用來告訴爬蟲哪些內容允許爬取;noindex 則是要求爬蟲不要將內容建立索引。兩者用途不同:禁止爬取某個目錄,不代表該目錄一定不會出現在搜尋結果中。
若頁面應保持私密,公開討論中的回答明確建議使用帳號密碼等驗證機制,而不是只靠 robots.txt。即使路徑已列入 Disallow,也無法阻止使用者直接造訪。
檢查設定時,至少查看兩類網址:希望搜尋引擎讀取的公開頁面,以及需要限制爬取的目錄內頁。確認公開頁面沒有被誤擋,要限制的路徑也確實列入規則。這項檢查只能確認設定是否符合需求,不能保證收錄或排名。
主題的網路各方意見
已限制的目錄中,能再開放某個子目錄嗎?
可以只針對特定搜尋引擎的爬蟲設定規則嗎?
可以。除了用 User-agent: * 指定所有爬蟲,也可用 User-agent: Googlebot 或 User-agent: Bingbot 指定特定爬蟲,再列出希望限制的路徑。這適合不同爬蟲有不同需求的情況,例如想限制爬取過於頻繁的特定機器人;若沒有這類需求,就不必為每種爬蟲另設規則。
參考資料
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
- 如何讓網頁被 Google 搜尋?3 步驟診斷+6 個未收錄原因welly.tw · 2025-01-22T08:05:53.698Z — 本文論述的參考來源。
- SHOPLINE SEO 有哪些功能?帶你一次了解 SHOPLINE SEO 的特色與操作www.awoo.ai · 2025-02-08T03:57:09+00:00 — 討論:使用網站平台時,需要從零建立 robots.txt 嗎?
- Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:可以只針對特定搜尋引擎的爬蟲設定規則嗎?;使用網站平台時,需要從零建立 robots.txt 嗎?
- Robots.txt用途與使用範例教學,釐清SEO收錄觀念!www.awoo.ai · 2018-03-29T08:57:00+00:00 — 本文論述的參考來源。
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
- SEO: Duplicate content caused by pagination/tag/index pageswebmasters.stackexchange.com — 本文論述的參考來源。



