測試與稽核 robots.txt,應先確認網站實際提供的檔案,再逐一核對目標爬蟲能否依預期存取或被禁止存取各個測試網址,並搭配網址檢查及伺服器日誌驗證。規則測試通過,不等於頁面一定被索引,也不代表所有爬蟲都會遵守。Google 官方文件指出,被 robots.txt 封鎖的網址仍可能因外部連結而出現在搜尋結果,因此必須先分清楚要限制的是檢索,還是索引。
先列出哪些頁面應允許檢索、哪些應封鎖
在瀏覽器開啟網站的 /robots.txt,確認對外提供的內容,而不是只看編輯器裡的草稿。接著檢查各規則區塊中 User-agent 指定的爬蟲,以及 Allow、Disallow 指定的路徑。若不同爬蟲需要不同的存取限制,應分別核對各自適用的規則區塊。
- 希望搜尋引擎取得的頁面:檢查是否被規則意外封鎖。
- 刻意限制檢索的目錄:確認封鎖範圍符合需求,而非只確認檔案存在。
- 希望退出搜尋結果的頁面:不能只加 Disallow;若採用 noindex,必須讓 Googlebot 能讀取該規則。
例如,同時封鎖某頁的檢索並在頁面加入 noindex,可能讓 Googlebot 根本讀不到 noindex。這不是「限制加倍」,而是封鎖檢索可能使 noindex 無法發揮作用。
用具代表性的網址測試,不只檢查語法
把預期允許與預期封鎖的網址都列入測試。Backlinko 的 2024 年文章建議,在上線前的測試環境中使用 Screaming Frog 測試 robots.txt,將使用者代理設為 Googlebot,模擬爬取以找出存取問題。不過,模擬結果不應直接視為 Googlebot 的實際行為。
測試也要涵蓋頁面依賴的資源。若 CSS 或圖片遭到封鎖,頁面呈現可能受影響,不能只因主要網址可存取就判定測試通過。頁面在搜尋結果中的顯示異常時,Google 官方建議以網址檢查工具確認 Googlebot 能否存取該頁面,再檢查 robots.txt 與頁面的 noindex 規則。
遇到結果不一致,回查日誌與測試條件
Screaming Frog 在 2017 年的測試發現,當時 Search Console 的 robots.txt 測試工具未能匹配使用百分比編碼的規則;但在 Googlebot 實際爬取的測試中,一週內只有未封鎖的頁面留下請求紀錄。這是特定時期的觀測,不能據此判定現行工具仍有同樣問題。這個案例提醒我們,應將工具的判讀結果與實際請求紀錄交叉核對。
稽核時可記錄測試網址、預期結果與觀測期間,再檢查伺服器日誌中是否有對禁止存取路徑的請求。尤其面對 AI 爬蟲時,要記得 robots.txt 只是告知爬蟲哪些路徑允許或禁止存取,爬蟲仍可能忽略規則;它不是強制性的防護措施。因此,需要保護敏感內容時,不能只憑「測試顯示封鎖」就認定已完成安全驗證。
主題的網路各方意見
上傳 robots.txt 後,如何確認搜尋引擎取得了檔案?
可查看 Search Console 的 robots.txt 報告,確認擷取狀態並檢查錯誤;若未成功擷取,應查明原因並修正。之後也要定期檢查格式與無效規則,因為即使是小錯誤,也可能影響網站的可索引性。擷取成功則不代表每個網址都符合預期,仍須另外測試規則。
網站地圖提交的網址遭 robots.txt 封鎖,應該怎麼處理?
先確認封鎖是否符合原本意圖;如果該網址需要被檢索,可測試是哪條 Disallow 規則造成封鎖,再調整規則,或將頁面移出被封鎖的目錄。並非所有遭排除的網址都需要解除限制,應依頁面用途個別判斷。
用 AI 產生的 robots.txt 規則可以直接上線嗎?
不宜直接套用。AI 可以協助產生規則,但需求描述不夠精確時,結果可能與實際需求不同。應先核對希望限制的爬蟲與路徑,並以測試工具驗證,再將確認過的規則套用到網站檔案。
參考資料
- 網頁程式開發人員的搜尋引擎最佳化 (SEO) 指南 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- robots.txt 簡介與指南 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- Google Updates Spam Guide For Shared Pages, Generated Content & Appswww.searchenginejournal.com · 2026-10-26T20:57:22+00:00 — 本文論述的參考來源。
- Google Search Console robots.txt Tester Inconsistencieswww.screamingfrog.co.uk · 2017-09-28T08:19:35+00:00 — 本文論述的參考來源。
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:上傳 robots.txt 後,如何確認搜尋引擎取得了檔案?
- 檢索預算(Crawl Budget)是什麼?中大型網站不可不知的SEO項目!www.awoo.ai · 2022-05-24T06:21:55+00:00 — 討論:網站地圖提交的網址遭 robots.txt 封鎖,應該怎麼處理?
- Website Migration SEO Checklist (88 Steps + Free Template)backlinko.com · 2024-04-01T17:23:50-05:00 — 本文論述的參考來源。
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
- robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 討論:日誌顯示爬蟲讀過 robots.txt,就能證明它遵守規則嗎?
- ChatGPT x SEO 13 個應用案例大公開,用 AI 輕鬆提升網站 SEO 執行效率!www.awoo.ai · 2023-03-14T06:49:06+00:00 — 討論:用 AI 產生的 robots.txt 規則可以直接上線嗎?
- Should I Block AI Crawlers At Robots.txt Or Server Level? – Ask An SEOwww.searchenginejournal.com · 2026-09-03T12:00:18+00:00 — 討論:日誌顯示爬蟲讀過 robots.txt,就能證明它遵守規則嗎?



