如何設定 robots.txt,允許爬取網站但限制部分目錄?

ProcrustesPR

若要開放網站爬取、只限制少數目錄,可以採用預設開放,逐項列出禁止路徑的方式:用 User-agent: * 指定規則適用於所有爬蟲,再以 Disallow 列出不希望爬取的目錄,不必另外加上 Allow: /。這套寫法適合作為起點,但沒有適用所有網站的封鎖清單。要限制哪些目錄,必須依網站內容決定;也要注意,robots.txt 不能用來控制存取權限。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

基本設定:只列出要限制的目錄

假設網站只想限制 /example/ 與 /test/ 兩個目錄,其餘內容維持開放,檔案內容可以寫成:

User-agent: *
Disallow: /example/
Disallow: /test/

  • 適用爬蟲:User-agent: * 表示這組規則面向所有爬蟲,但是否遵守仍取決於爬蟲本身。
  • 限制目錄:兩行 Disallow 分別指定 /example/ 與 /test/,不是封鎖整個網站。
  • 其餘路徑:在這份簡單設定中,未被禁止的路徑仍可爬取,不需要逐一列出。

這兩個目錄名稱只是範例,不代表你的網站有這些路徑。套用前應換成真正需要限制的目錄;若沒有任何限制需求,就不必為了「基本設定」而硬加封鎖規則。

放對位置,也別一開始就封鎖整站

robots.txt 應放在網站根目錄,而不是放進要限制的資料夾。awoo 的 2018 年文章也提醒,檔名應使用全小寫 robots.txt,不要改成 Robots.txt 或 robots.TXT。

如果只需要限制少數目錄,就不必先寫 Disallow: / 再逐一開放內容。Disallow: / 是整站禁止爬取的設定,不是「允許首頁」;若誤用,可能讓 Googlebot 無法讀取原本希望曝光的內容。只列出需要禁止爬取的路徑即可,不必增加多餘規則。

限制爬取,不等於保密或保證不收錄

robots.txt 用來告訴爬蟲哪些內容允許爬取;noindex 則是要求爬蟲不要將內容建立索引。兩者用途不同:禁止爬取某個目錄,不代表該目錄一定不會出現在搜尋結果中。

若頁面應保持私密,公開討論中的回答明確建議使用帳號密碼等驗證機制,而不是只靠 robots.txt。即使路徑已列入 Disallow,也無法阻止使用者直接造訪。

檢查設定時,至少查看兩類網址:希望搜尋引擎讀取的公開頁面,以及需要限制爬取的目錄內頁。確認公開頁面沒有被誤擋,要限制的路徑也確實列入規則。這項檢查只能確認設定是否符合需求,不能保證收錄或排名。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

已限制的目錄中,能再開放某個子目錄嗎?

可以考慮用較具體的 Allow 規則,為已限制的目錄指定例外。例如在面向所有爬蟲的規則中,列出 Disallow: /example/,再列出 Allow: /example/foobar/。公開討論指出,Google 與 Bing 會依路徑的具體程度判斷優先順序;但不同爬蟲對 Allow 的支援未必一致,因此不要假定所有爬蟲都會以同樣方式處理。

可以只針對特定搜尋引擎的爬蟲設定規則嗎?

可以。除了用 User-agent: * 指定所有爬蟲,也可用 User-agent: Googlebot 或 User-agent: Bingbot 指定特定爬蟲,再列出希望限制的路徑。這適合不同爬蟲有不同需求的情況,例如想限制爬取過於頻繁的特定機器人;若沒有這類需求,就不必為每種爬蟲另設規則。

使用網站平台時,需要從零建立 robots.txt 嗎?

不一定,應先確認平台是否已有設定。awoo 在 2025 年介紹 SHOPLINE 時指出,其內建的 robots.txt 已預設限制部分系統與參數頁面,並提供 sitemap 位置;這是該平台當時的說明,不代表所有平台都有相同預設。修改前宜先了解既有規則及實際目錄需求,避免誤擋重要內容。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
  2. 如何讓網頁被 Google 搜尋?3 步驟診斷+6 個未收錄原因welly.tw · 2025-01-22T08:05:53.698Z — 本文論述的參考來源。
  3. SHOPLINE SEO 有哪些功能?帶你一次了解 SHOPLINE SEO 的特色與操作www.awoo.ai · 2025-02-08T03:57:09+00:00 — 討論:使用網站平台時,需要從零建立 robots.txt 嗎?
  4. Is it possible to block an entire site to Google then list exceptions?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
  5. Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:可以只針對特定搜尋引擎的爬蟲設定規則嗎?;使用網站平台時,需要從零建立 robots.txt 嗎?
  6. Robots.txt用途與使用範例教學,釐清SEO收錄觀念!www.awoo.ai · 2018-03-29T08:57:00+00:00 — 本文論述的參考來源。
  7. How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:已限制的目錄中,能再開放某個子目錄嗎?
  8. SEO: Duplicate content caused by pagination/tag/index pageswebmasters.stackexchange.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR