如何建立並設定 robots.txt?先確認哪些內容要開放檢索

ProcrustesPR

建立 robots.txt 前,先分清楚需求:是限制爬蟲檢索、避免網頁出現在搜尋結果,還是保護非公開內容。若要設定檢索範圍,可建立名為 robots.txt 的 UTF-8 純文字檔,以 User-agent 指定爬蟲,再用 Disallow、Allow 設定路徑,並放到適用主機的根目錄。robots.txt 不等於禁止索引,也不能取代密碼保護。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先決定要限制檢索,還是排除搜尋結果

設定前可先列出公開內容、希望略過的路徑,以及不應公開的頁面,再依目的選擇控制方式:

  • 希望爬蟲略過某些路徑:使用 robots.txt 的檢索規則。
  • 允許 Google 讀取頁面,但不希望建立索引:使用 noindex。
  • 內容不應對外公開:使用密碼保護,而不是只列入 Disallow。

Google 官方文件提醒,robots.txt 無法保證特定網頁不出現在搜尋結果。若頁面設有 noindex,卻又被 robots.txt 禁止檢索,Google 就無法讀到該頁面的索引規則。因此,「不想被搜尋到」不應直接換成「禁止爬取」。

建立純文字檔,確認適用的主機

使用純文字編輯器建立檔案,名稱必須是 robots.txt,編碼使用 UTF-8。不要以文書處理軟體的專用格式儲存;檔案也不是放在任意資料夾就會被讀取。

例如,HTTPS 網站的檔案應位於 https://example.com/robots.txt,而不是某個文章子目錄。其作用範圍限於特定的通訊協定、子網域及連接埠,不能假設主站設定會自動涵蓋 m.example.com 等其他主機。

從最小規則開始,逐項加入限制

User-agent 指定規則對象;星號代表一般適用的爬蟲。若需求是允許檢索所有路徑,可使用以下基本設定,Disallow 後面保持空白:

User-agent: *
Disallow:

若改為不希望檢索結帳目錄,可將上述範例改成:

User-agent: *
Disallow: /checkout/

這個例子限制的是 /checkout/ 路徑,不是要求搜尋引擎移除整個網站。空白的 Disallow: 與 Disallow: / 意義不同:後者禁止適用爬蟲檢索全部路徑,不適合直接套用在希望被搜尋到的公開網站。

Allow 用來允許路徑,Disallow 用來禁止路徑;若不同爬蟲需要不同設定,可分別建立 User-agent 區塊。先確認每個區塊的對象與目的,再增加規則,避免把不同需求混在一起。

依主機或 CMS 的方式更新檔案

完成後,可透過 FTP、主機檔案管理員或適用的 CMS 功能更新根目錄中的檔案。WordPress 可能產生虛擬 robots.txt,因此沒有找到實體檔案,不代表網站沒有提供它;修改時可能需要外掛,或手動上傳檔案覆蓋,實際方式須依網站環境確認。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 的網路各方意見

上傳後如何確認規則符合預期?

上傳後,可在 Google Search Console 的 robots.txt 報告查看檔案擷取狀態與錯誤。測試特定路徑時,應確認測試的網址與模擬的檢索器是否正確。若在測試工具中修改規則,還要將變更寫回網站上的 robots.txt;測試頁面的編輯不會直接更新原檔。之後也應定期檢查檔案格式。

一定要在 robots.txt 加入網站地圖嗎?

不一定。可用 Sitemap 指令提供 XML 網站地圖的位置,讓爬蟲更容易找到重要頁面;對大型網站尤其值得考慮。不過,網站地圖是輔助發現網址的資訊,不是每份 robots.txt 都必須包含的規則,也不應把加入網站地圖視為保證收錄。

可以針對 AI 爬蟲設定不同規則嗎?

可以。依網站的 AI 存取策略,可為 GPTBot、ClaudeBot、Google-Extended 或 CCBot 等支援相關控制的對象,分別建立 User-agent 區塊。設定前應先了解各對象的用途,並查閱相關文件。例如,Google 表示,部分由使用者觸發的擷取工具通常會忽略 robots.txt,因此不能假設規則涵蓋所有 AI 存取方式。

規則變多時,如何讓後續維護更容易?

可以用井字號開頭的註解記錄規則意圖,例如說明為何限制某個路徑,方便其他維護者日後判斷是否仍有必要。成長中的團隊或結構複雜的網站尤其適合這麼做;同時應對照官方規格檢查規則,避免因語法或匹配特性造成非預期的限制。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 漫遊器中繼標記規格 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  2. 網頁程式開發人員的搜尋引擎最佳化 (SEO) 指南 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  3. Recap of the February 2026 SEO Update by Yoastyoast.com · 2026-02-26T16:10:27+00:00 — 討論:可以針對 AI 爬蟲設定不同規則嗎?
  4. How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 討論:一定要在 robots.txt 加入網站地圖嗎?;可以針對 AI 爬蟲設定不同規則嗎?
  5. Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:上傳後如何確認規則符合預期?;規則變多時,如何讓後續維護更容易?
  6. robots.txt是什麼? robots.txt設定、用途與使用範例分享!welly.tw · 2022-01-13T05:20:36.169Z — 討論:上傳後如何確認規則符合預期?
  7. Google Says Why It May Ignore Robots.txt And Negatively Impact SEOwww.searchenginejournal.com · 2026-07-25T10:17:52+00:00 — 討論:規則變多時,如何讓後續維護更容易?
  8. Google Explains 503s, Robots.txt Limits & Bracket URLs – SEO Pulsewww.searchenginejournal.com · 2026-10-24T12:00:00+00:00 — 討論:可以針對 AI 爬蟲設定不同規則嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR