若想讓搜尋引擎爬取網站,只限制少數資料夾,可以用 User-agent: * 設定通用規則,再以 Disallow 列出不希望被爬取的路徑。若沒有要排除的路徑,可將 Disallow: 冒號後留白,表示不禁止爬取。不過,不能直接用這個範例覆蓋現有設定。修改前須確認要開放的爬蟲、既有的爬蟲專屬規則及其他存取限制;允許爬取也不等於保證收錄。
先用最少規則設定開放範圍
robots.txt 應使用 UTF-8 純文字格式,放在網站根目錄。若沒有其他規則,且希望全面開放爬取,可從以下兩行開始:
User-agent: *
Disallow:
Disallow: 冒號後留白,表示沒有指定禁止爬取的路徑。若只想排除兩個資料夾,則可改成:
User-agent: *
Disallow: /example/
Disallow: /checkout/
這兩個路徑只是範例,不代表所有網站都應封鎖它們。請換成實際需要排除的目錄;其餘路徑若沒有其他適用限制,就維持開放。尤其不要把空白的 Disallow: 誤寫成 Disallow: /,後者會禁止爬取整站。
確認爬蟲身分,再檢查既有規則區塊
User-agent 用來指定規則適用的爬蟲。若要對特定爬蟲採用不同規則,可為它另設區塊。因此,不能只看到檔案裡有一組開放設定,就判定目標爬蟲一定能存取。
- 先列出要放行的爬蟲,例如 Googlebot,再逐一檢查相關規則。
- 檢查既有的 Disallow 是否涵蓋希望公開的文章、產品或其他內容路徑。
- 若已有爬蟲專屬區塊,應一併檢查,不要只在檔案末尾追加通用開放設定。
公開討論對 Allow: / 有不同說法:有人回報使用後網站能正常被爬取,也有人主張將 Disallow: 冒號後留白。成功爬取的回報只是個人經驗;2015 年評論對 Allow 支援度的判斷,也不能代表現在所有爬蟲的支援情況。這裡採用空白 Disallow: 作為簡單起點,不代表 Allow 一律無效。
修改後檢查網址,不只檢查檔案文字
可先查看網站 /robots.txt 實際回傳的內容,再用 Google Search Console 的網址檢查工具,檢查希望開放的代表性頁面。若仍有問題,應分別檢查以下三類限制:
- 爬取限制:robots.txt 是否阻擋頁面或所在目錄。
- 索引限制:頁面是否仍有 noindex 設定;限制索引與禁止爬取不是同一件事。
- 存取限制:頁面是否要求登入,讓爬蟲無法取得內容。
也不要把 robots.txt 當成保密機制。公開討論提醒,禁止爬取不會阻止他人直接造訪網址。需要保密的內容應使用登入或其他身分驗證,而不是只把路徑寫進 Disallow。
robots.txt 設定的網路各方意見
封鎖資料夾後,還能開放其中的特定子目錄嗎?
禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?
發布前可以怎麼測試新規則?
可先用支援自訂 robots.txt 的測試工具載入現有檔案或擬發布的內容,分別測試應開放與應限制的網址;也可用自訂規則進行整站爬取。這有助於在發布前發現意外封鎖,但測試時仍要選定關心的爬蟲及具代表性的路徑。
robots.txt 已放行,爬蟲仍進不來該查什麼?
參考資料
- Cloudflare 新制下既有 zone 的 AI 自查清單ithelp.ithome.com.tw — 討論:robots.txt 已放行,爬蟲仍進不來該查什麼?
- Why alexa doesn't crawl my site?webmasters.stackexchange.com — 本文論述的參考來源。
- Cloudflare Will Write Your Robots.txt, And It Has A Pointwww.searchenginejournal.com · 2026-09-18T14:30:00+00:00 — 討論:robots.txt 已放行,爬蟲仍進不來該查什麼?
- 如何讓網頁被 Google 搜尋?3 步驟診斷+6 個未收錄原因welly.tw · 2025-01-22T08:05:53.698Z — 討論:禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
- Reviving Retired Search Console Reportswww.screamingfrog.co.uk · 2019-04-08T13:18:41+00:00 — 討論:封鎖資料夾後,還能開放其中的特定子目錄嗎?;發布前可以怎麼測試新規則?
- Why alexa doesn't crawl my site?webmasters.stackexchange.com — 本文論述的參考來源。
- 技術 SEO 初學者指南 (by Ahrefs)tenten.co · 2023-07-30T15:00:24.000Z — 討論:禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?
- 2025 Website Launch Checklist (Pre-Launch and Post-Launch)www.semrush.com · 2023-09-13T14:54:00Z — 本文論述的參考來源。
- 10 SEO best practices for Google and AI searchwww.semrush.com · 2020-05-25T11:00:00Z — 討論:AI 搜尋爬蟲需要和其他爬蟲分開檢查嗎?
- Comprehensive SEO Checklist (2025)neilpatel.com · 2024-05-30T19:00:00+00:00 — 本文論述的參考來源。
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 本文論述的參考來源。
- Google Rank Data Issues, Lighthouse Update & AI Opt-Out – SEO Pulsewww.searchenginejournal.com · 2026-11-07T13:00:00+00:00 — 討論:AI 搜尋爬蟲需要和其他爬蟲分開檢查嗎?
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:封鎖資料夾後,還能開放其中的特定子目錄嗎?



