如何建立、檢查及安全使用 robots.txt?

ProcrustesPR

建立 robots.txt,應先決定哪些爬蟲可讀取哪些路徑,再把規則存成網站根目錄下的純文字檔,逐一核對重要頁面與必要資源是否被誤擋。它控制的是爬取,不能保證頁面不被索引,更不能作為保護敏感資料的安全門禁。若目標是不讓頁面出現在 Google 搜尋結果,應使用可被 Googlebot 讀取的 noindex,不能同時用 robots.txt 阻止它讀取該頁。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先寫清楚目的,再建立精簡規則

先列出希望搜尋引擎讀取的內容、不希望被爬取的路徑,以及是否要對不同爬蟲採取不同設定。User-agent 指定規則適用的爬蟲,Allow 與 Disallow 分別指定允許與禁止爬取的路徑。若不同爬蟲需要不同設定,可各自設置規則區塊。

例如,若目的只是請遵守規則的爬蟲不要爬取站內搜尋路徑,可寫成:

User-agent: *
Disallow: /search/

星號表示適用所有爬蟲;這個例子限制的是 /search/ 路徑的爬取,並不保證相關網址不會出現在搜尋結果。可用以 # 開頭的註解記錄設定理由,方便日後核對。

檔案應命名為 robots.txt,以 UTF-8 純文字格式放在網站根目錄。WordPress 可能提供虛擬 robots.txt,修改方式依網站配置而異,可能需要使用外掛,或上傳實體檔案來覆蓋虛擬檔案。因此,不能只因找不到實體檔就認定沒有規則。

不只確認檔案存在,也要檢查規則是否符合預期

開啟網站根路徑的 /robots.txt,確認實際提供的內容,再逐項檢查是否符合預期:

  • 重要頁面:文章、產品或一般網站頁面,是否被 Disallow 意外擋住?
  • 頁面呈現所需資源:頁面需要的 CSS、JavaScript 或 API,是否遭到封鎖?不要只確認 HTML 頁面可爬取。
  • 目標爬蟲:確認適用的 User-agent 區塊;若希望內容可供 ChatGPT 搜尋使用,應檢查是否封鎖 OAI-SearchBot,也要檢查 CDN 的機器人規則。

使用 Google 網址檢查工具測試重要頁面的呈現情況,確認被封鎖的資源沒有妨礙內容顯示。在 Semrush 與 Bill Widmer 的一次示範中,Site Audit 原先受規則阻擋,修改規則後才爬取成功。這說明檢查時必須考量實際網站與工具設定,不能把單次成功當成所有爬蟲都能爬取的證明。

分清爬取限制、索引控制與安全防護

被禁止爬取的網址,仍可能因其他網站的連結而被 Google 發現並出現在搜尋結果。Google 官方文件也明確指出:如果 robots.txt 禁止爬取,Google 就無法讀取頁面上的 robots meta 標記或 X-Robots-Tag 標頭,相關索引規則也會遭到忽略。

因此,不要把 Disallow 當作隱藏內部報表、敏感資料或測試站的方法。robots.txt 本身不能強制所有訪客遵守規則。要安全使用它,應先分清楚自己的目標:限制爬取、讓內容不出現在搜尋結果,還是真正限制內容存取。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 的網路各方意見

如何從伺服器日誌檢查爬蟲是否讀取了 robots.txt?

可查看存取日誌中對 /robots.txt 的請求,核對爬蟲身分與讀取頻率,並與修改規則的時間對照。這能協助判斷爬蟲是否曾取得規則,但讀取紀錄本身不能證明它之後遵守了規則;也應留意不同服務更新規則所需的時間。

網站服務自動產生的規則,需要另外檢查嗎?

需要。若主機或其他服務提供自動同步功能,應檢查該服務實際發布的 robots.txt,確認預設內容是否符合你對網站爬取及資料使用的預期。一篇介紹 Cloudflare 新功能公告的文章提醒,預設設定可能讓站長發布自己未親自撰寫或閱讀的政策。不過,該文討論的是當時宣布的產品,不能據此認定所有網站目前都採用相同設定。

需要登入或限制爬取的測試站,可以如何檢查?

在有權測試的前提下,先確認測試站的 robots.txt 是否限制所用工具爬取,再依需要設定工具或提供登入憑證。Screaming Frog 較早的教學曾介紹忽略 robots.txt 的設定與身分驗證視窗。這是特定工具的測試方式,不代表其他爬蟲也能通過限制,實際操作仍應以所用版本為準。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 漫遊器中繼標記規格 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  2. Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 本文論述的參考來源。
  3. 10 Features In The SEO Spider You Should Really Knowwww.screamingfrog.co.uk · 2015-01-22T11:48:45+00:00 — 討論:需要登入或限制爬取的測試站,可以如何檢查?
  4. Spam Guide Update, Restaurant Controls & AI Mode Revenue – SEO Pulsewww.searchenginejournal.com · 2026-10-31T12:00:00+00:00 — 本文論述的參考來源。
  5. robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 討論:如何從伺服器日誌檢查爬蟲是否讀取了 robots.txt?
  6. ChatGPT is unable to see client's Google Reviews?localsearchforum.com — 本文論述的參考來源。
  7. How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
  8. Amazon Blocked Meta’s Muse, And Robots.txt Had Nothing To Saywww.searchenginejournal.com · 2026-09-29T14:30:54+00:00 — 本文論述的參考來源。
  9. What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 本文論述的參考來源。
  10. Cloudflare Will Write Your Robots.txt, And It Has A Pointwww.searchenginejournal.com · 2026-09-18T14:30:00+00:00 — 討論:網站服務自動產生的規則,需要另外檢查嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR