建立 robots.txt,應先決定哪些爬蟲可讀取哪些路徑,再把規則存成網站根目錄下的純文字檔,逐一核對重要頁面與必要資源是否被誤擋。它控制的是爬取,不能保證頁面不被索引,更不能作為保護敏感資料的安全門禁。若目標是不讓頁面出現在 Google 搜尋結果,應使用可被 Googlebot 讀取的 noindex,不能同時用 robots.txt 阻止它讀取該頁。
先寫清楚目的,再建立精簡規則
先列出希望搜尋引擎讀取的內容、不希望被爬取的路徑,以及是否要對不同爬蟲採取不同設定。User-agent 指定規則適用的爬蟲,Allow 與 Disallow 分別指定允許與禁止爬取的路徑。若不同爬蟲需要不同設定,可各自設置規則區塊。
例如,若目的只是請遵守規則的爬蟲不要爬取站內搜尋路徑,可寫成:
User-agent: *
Disallow: /search/
星號表示適用所有爬蟲;這個例子限制的是 /search/ 路徑的爬取,並不保證相關網址不會出現在搜尋結果。可用以 # 開頭的註解記錄設定理由,方便日後核對。
檔案應命名為 robots.txt,以 UTF-8 純文字格式放在網站根目錄。WordPress 可能提供虛擬 robots.txt,修改方式依網站配置而異,可能需要使用外掛,或上傳實體檔案來覆蓋虛擬檔案。因此,不能只因找不到實體檔就認定沒有規則。
不只確認檔案存在,也要檢查規則是否符合預期
開啟網站根路徑的 /robots.txt,確認實際提供的內容,再逐項檢查是否符合預期:
- 重要頁面:文章、產品或一般網站頁面,是否被 Disallow 意外擋住?
- 頁面呈現所需資源:頁面需要的 CSS、JavaScript 或 API,是否遭到封鎖?不要只確認 HTML 頁面可爬取。
- 目標爬蟲:確認適用的 User-agent 區塊;若希望內容可供 ChatGPT 搜尋使用,應檢查是否封鎖 OAI-SearchBot,也要檢查 CDN 的機器人規則。
使用 Google 網址檢查工具測試重要頁面的呈現情況,確認被封鎖的資源沒有妨礙內容顯示。在 Semrush 與 Bill Widmer 的一次示範中,Site Audit 原先受規則阻擋,修改規則後才爬取成功。這說明檢查時必須考量實際網站與工具設定,不能把單次成功當成所有爬蟲都能爬取的證明。
分清爬取限制、索引控制與安全防護
被禁止爬取的網址,仍可能因其他網站的連結而被 Google 發現並出現在搜尋結果。Google 官方文件也明確指出:如果 robots.txt 禁止爬取,Google 就無法讀取頁面上的 robots meta 標記或 X-Robots-Tag 標頭,相關索引規則也會遭到忽略。
因此,不要把 Disallow 當作隱藏內部報表、敏感資料或測試站的方法。robots.txt 本身不能強制所有訪客遵守規則。要安全使用它,應先分清楚自己的目標:限制爬取、讓內容不出現在搜尋結果,還是真正限制內容存取。
robots.txt 的網路各方意見
如何從伺服器日誌檢查爬蟲是否讀取了 robots.txt?
可查看存取日誌中對 /robots.txt 的請求,核對爬蟲身分與讀取頻率,並與修改規則的時間對照。這能協助判斷爬蟲是否曾取得規則,但讀取紀錄本身不能證明它之後遵守了規則;也應留意不同服務更新規則所需的時間。
網站服務自動產生的規則,需要另外檢查嗎?
需要。若主機或其他服務提供自動同步功能,應檢查該服務實際發布的 robots.txt,確認預設內容是否符合你對網站爬取及資料使用的預期。一篇介紹 Cloudflare 新功能公告的文章提醒,預設設定可能讓站長發布自己未親自撰寫或閱讀的政策。不過,該文討論的是當時宣布的產品,不能據此認定所有網站目前都採用相同設定。
需要登入或限制爬取的測試站,可以如何檢查?
在有權測試的前提下,先確認測試站的 robots.txt 是否限制所用工具爬取,再依需要設定工具或提供登入憑證。Screaming Frog 較早的教學曾介紹忽略 robots.txt 的設定與身分驗證視窗。這是特定工具的測試方式,不代表其他爬蟲也能通過限制,實際操作仍應以所用版本為準。
參考資料
- 漫遊器中繼標記規格 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 本文論述的參考來源。
- 10 Features In The SEO Spider You Should Really Knowwww.screamingfrog.co.uk · 2015-01-22T11:48:45+00:00 — 討論:需要登入或限制爬取的測試站,可以如何檢查?
- Spam Guide Update, Restaurant Controls & AI Mode Revenue – SEO Pulsewww.searchenginejournal.com · 2026-10-31T12:00:00+00:00 — 本文論述的參考來源。
- robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 討論:如何從伺服器日誌檢查爬蟲是否讀取了 robots.txt?
- ChatGPT is unable to see client's Google Reviews?localsearchforum.com — 本文論述的參考來源。
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
- Amazon Blocked Meta’s Muse, And Robots.txt Had Nothing To Saywww.searchenginejournal.com · 2026-09-29T14:30:54+00:00 — 本文論述的參考來源。
- What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 本文論述的參考來源。
- Cloudflare Will Write Your Robots.txt, And It Has A Pointwww.searchenginejournal.com · 2026-09-18T14:30:00+00:00 — 討論:網站服務自動產生的規則,需要另外檢查嗎?



