建立 robots.txt 前,先分清楚需求:是限制爬蟲檢索、避免網頁出現在搜尋結果,還是保護非公開內容。若要設定檢索範圍,可建立名為 robots.txt 的 UTF-8 純文字檔,以 User-agent 指定爬蟲,再用 Disallow、Allow 設定路徑,並放到適用主機的根目錄。robots.txt 不等於禁止索引,也不能取代密碼保護。
先決定要限制檢索,還是排除搜尋結果
設定前可先列出公開內容、希望略過的路徑,以及不應公開的頁面,再依目的選擇控制方式:
- 希望爬蟲略過某些路徑:使用 robots.txt 的檢索規則。
- 允許 Google 讀取頁面,但不希望建立索引:使用 noindex。
- 內容不應對外公開:使用密碼保護,而不是只列入 Disallow。
Google 官方文件提醒,robots.txt 無法保證特定網頁不出現在搜尋結果。若頁面設有 noindex,卻又被 robots.txt 禁止檢索,Google 就無法讀到該頁面的索引規則。因此,「不想被搜尋到」不應直接換成「禁止爬取」。
建立純文字檔,確認適用的主機
使用純文字編輯器建立檔案,名稱必須是 robots.txt,編碼使用 UTF-8。不要以文書處理軟體的專用格式儲存;檔案也不是放在任意資料夾就會被讀取。
例如,HTTPS 網站的檔案應位於 https://example.com/robots.txt,而不是某個文章子目錄。其作用範圍限於特定的通訊協定、子網域及連接埠,不能假設主站設定會自動涵蓋 m.example.com 等其他主機。
從最小規則開始,逐項加入限制
User-agent 指定規則對象;星號代表一般適用的爬蟲。若需求是允許檢索所有路徑,可使用以下基本設定,Disallow 後面保持空白:
User-agent: *
Disallow:
若改為不希望檢索結帳目錄,可將上述範例改成:
User-agent: *
Disallow: /checkout/
這個例子限制的是 /checkout/ 路徑,不是要求搜尋引擎移除整個網站。空白的 Disallow: 與 Disallow: / 意義不同:後者禁止適用爬蟲檢索全部路徑,不適合直接套用在希望被搜尋到的公開網站。
Allow 用來允許路徑,Disallow 用來禁止路徑;若不同爬蟲需要不同設定,可分別建立 User-agent 區塊。先確認每個區塊的對象與目的,再增加規則,避免把不同需求混在一起。
依主機或 CMS 的方式更新檔案
完成後,可透過 FTP、主機檔案管理員或適用的 CMS 功能更新根目錄中的檔案。WordPress 可能產生虛擬 robots.txt,因此沒有找到實體檔案,不代表網站沒有提供它;修改時可能需要外掛,或手動上傳檔案覆蓋,實際方式須依網站環境確認。
robots.txt 的網路各方意見
上傳後如何確認規則符合預期?
一定要在 robots.txt 加入網站地圖嗎?
不一定。可用 Sitemap 指令提供 XML 網站地圖的位置,讓爬蟲更容易找到重要頁面;對大型網站尤其值得考慮。不過,網站地圖是輔助發現網址的資訊,不是每份 robots.txt 都必須包含的規則,也不應把加入網站地圖視為保證收錄。
可以針對 AI 爬蟲設定不同規則嗎?
參考資料
- 漫遊器中繼標記規格 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- 網頁程式開發人員的搜尋引擎最佳化 (SEO) 指南 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- Recap of the February 2026 SEO Update by Yoastyoast.com · 2026-02-26T16:10:27+00:00 — 討論:可以針對 AI 爬蟲設定不同規則嗎?
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 討論:一定要在 robots.txt 加入網站地圖嗎?;可以針對 AI 爬蟲設定不同規則嗎?
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:上傳後如何確認規則符合預期?;規則變多時,如何讓後續維護更容易?
- robots.txt是什麼? robots.txt設定、用途與使用範例分享!welly.tw · 2022-01-13T05:20:36.169Z — 討論:上傳後如何確認規則符合預期?
- Google Says Why It May Ignore Robots.txt And Negatively Impact SEOwww.searchenginejournal.com · 2026-07-25T10:17:52+00:00 — 討論:規則變多時,如何讓後續維護更容易?
- Google Explains 503s, Robots.txt Limits & Bracket URLs – SEO Pulsewww.searchenginejournal.com · 2026-10-24T12:00:00+00:00 — 討論:可以針對 AI 爬蟲設定不同規則嗎?



