如何設定 robots.txt 讓爬蟲存取網站?

ProcrustesPR

若想讓搜尋引擎爬取網站,只限制少數資料夾,可以用 User-agent: * 設定通用規則,再以 Disallow 列出不希望被爬取的路徑。若沒有要排除的路徑,可將 Disallow: 冒號後留白,表示不禁止爬取。不過,不能直接用這個範例覆蓋現有設定。修改前須確認要開放的爬蟲、既有的爬蟲專屬規則及其他存取限制;允許爬取也不等於保證收錄。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先用最少規則設定開放範圍

robots.txt 應使用 UTF-8 純文字格式,放在網站根目錄。若沒有其他規則,且希望全面開放爬取,可從以下兩行開始:

User-agent: *
Disallow:

Disallow: 冒號後留白,表示沒有指定禁止爬取的路徑。若只想排除兩個資料夾,則可改成:

User-agent: *
Disallow: /example/
Disallow: /checkout/

這兩個路徑只是範例,不代表所有網站都應封鎖它們。請換成實際需要排除的目錄;其餘路徑若沒有其他適用限制,就維持開放。尤其不要把空白的 Disallow: 誤寫成 Disallow: /,後者會禁止爬取整站。

確認爬蟲身分,再檢查既有規則區塊

User-agent 用來指定規則適用的爬蟲。若要對特定爬蟲採用不同規則,可為它另設區塊。因此,不能只看到檔案裡有一組開放設定,就判定目標爬蟲一定能存取。

  • 先列出要放行的爬蟲,例如 Googlebot,再逐一檢查相關規則。
  • 檢查既有的 Disallow 是否涵蓋希望公開的文章、產品或其他內容路徑。
  • 若已有爬蟲專屬區塊,應一併檢查,不要只在檔案末尾追加通用開放設定。

公開討論對 Allow: / 有不同說法:有人回報使用後網站能正常被爬取,也有人主張將 Disallow: 冒號後留白。成功爬取的回報只是個人經驗;2015 年評論對 Allow 支援度的判斷,也不能代表現在所有爬蟲的支援情況。這裡採用空白 Disallow: 作為簡單起點,不代表 Allow 一律無效。

修改後檢查網址,不只檢查檔案文字

可先查看網站 /robots.txt 實際回傳的內容,再用 Google Search Console 的網址檢查工具,檢查希望開放的代表性頁面。若仍有問題,應分別檢查以下三類限制:

  • 爬取限制:robots.txt 是否阻擋頁面或所在目錄。
  • 索引限制:頁面是否仍有 noindex 設定;限制索引與禁止爬取不是同一件事。
  • 存取限制:頁面是否要求登入,讓爬蟲無法取得內容。

也不要把 robots.txt 當成保密機制。公開討論提醒,禁止爬取不會阻止他人直接造訪網址。需要保密的內容應使用登入或其他身分驗證,而不是只把路徑寫進 Disallow。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 設定的網路各方意見

封鎖資料夾後,還能開放其中的特定子目錄嗎?

可以用 Allow 為特定子目錄設定例外,但須確認目標爬蟲如何處理這些指令。若要封鎖某個目錄的大部分內容,只開放其中一部分,可先用 Disallow 列出父目錄,再用 Allow 指定要開放的子目錄。發布前可分別測試應開放與仍應封鎖的路徑,確認規則是否如預期生效。

禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?

不一定。有資料指出,即使 Google 無法爬取某個頁面,只要有連結指向它,該頁仍可能被編入索引。因此,不能只憑 robots.txt 的禁止爬取規則判定頁面不會出現在搜尋結果;爬取與索引是不同的事,也應檢查頁面的索引設定。

發布前可以怎麼測試新規則?

可先用支援自訂 robots.txt 的測試工具載入現有檔案或擬發布的內容,分別測試應開放與應限制的網址;也可用自訂規則進行整站爬取。這有助於在發布前發現意外封鎖,但測試時仍要選定關心的爬蟲及具代表性的路徑。

robots.txt 已放行,爬蟲仍進不來該查什麼?

除了重新核對適用的 robots.txt 規則,也要檢查 CDN 或其他邊緣防護是否攔截了爬蟲的請求。相關資料提醒,robots.txt 與邊緣防護是不同層的設定,時間一久,兩邊的設定可能不再一致。因此,即使 robots.txt 允許爬取,請求仍可能被其他防護擋下。也可一併檢查網站實際回傳的 robots.txt 內容。

AI 搜尋爬蟲需要和其他爬蟲分開檢查嗎?

如果希望網站出現在 AI 搜尋體驗中,值得逐一確認相關搜尋爬蟲是否遭到意外封鎖。資料指出,搜尋爬蟲與用於模型訓練的爬蟲用途不同,可以分別管理;應先確認想開放的是哪一類,再檢查其身分與適用規則,不能把所有 AI 爬蟲視為同一種。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Cloudflare 新制下既有 zone 的 AI 自查清單ithelp.ithome.com.tw — 討論:robots.txt 已放行,爬蟲仍進不來該查什麼?
  2. Why alexa doesn't crawl my site?webmasters.stackexchange.com — 本文論述的參考來源。
  3. Cloudflare Will Write Your Robots.txt, And It Has A Pointwww.searchenginejournal.com · 2026-09-18T14:30:00+00:00 — 討論:robots.txt 已放行,爬蟲仍進不來該查什麼?
  4. 如何讓網頁被 Google 搜尋?3 步驟診斷+6 個未收錄原因welly.tw · 2025-01-22T08:05:53.698Z — 討論:禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?
  5. How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
  6. Reviving Retired Search Console Reportswww.screamingfrog.co.uk · 2019-04-08T13:18:41+00:00 — 討論:封鎖資料夾後,還能開放其中的特定子目錄嗎?;發布前可以怎麼測試新規則?
  7. Why alexa doesn't crawl my site?webmasters.stackexchange.com — 本文論述的參考來源。
  8. 技術 SEO 初學者指南 (by Ahrefs)tenten.co · 2023-07-30T15:00:24.000Z — 討論:禁止爬取的頁面就不會出現在 Google 搜尋結果嗎?
  9. 2025 Website Launch Checklist (Pre-Launch and Post-Launch)www.semrush.com · 2023-09-13T14:54:00Z — 本文論述的參考來源。
  10. 10 SEO best practices for Google and AI searchwww.semrush.com · 2020-05-25T11:00:00Z — 討論:AI 搜尋爬蟲需要和其他爬蟲分開檢查嗎?
  11. Comprehensive SEO Checklist (2025)neilpatel.com · 2024-05-30T19:00:00+00:00 — 本文論述的參考來源。
  12. How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 本文論述的參考來源。
  13. Google Rank Data Issues, Lighthouse Update & AI Opt-Out – SEO Pulsewww.searchenginejournal.com · 2026-11-07T13:00:00+00:00 — 討論:AI 搜尋爬蟲需要和其他爬蟲分開檢查嗎?
  14. How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:封鎖資料夾後,還能開放其中的特定子目錄嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR