網站不一定需要 robots.txt;應依爬取管理需求判斷,而不是做 SEO 就必須建立檔案。若希望所有內容都可被爬取,可以不設;若要排除大量站內搜尋結果或特定參數網址,或提供 Sitemap 路徑,就有明確用途。但「不讓爬蟲讀取」與「不讓網頁出現在搜尋結果」是不同目標,不能把 robots.txt 當成通用的移除索引工具。
全部開放爬取時,可以不建立
Webmasters Stack Exchange 的回答指出,沒有 robots.txt 會被解讀為允許爬取所有內容。該回答也建議放置空白檔案,減少紀錄中不必要的 404 錯誤;這是管理上的建議,不代表搜尋引擎要求每個網站都必須有這份檔案。
因此,若網站沒有需要排除的區域,就不必為了「別人都有」而添加禁止規則。若只是想保留檔案供日後管理,也可以放置空白檔案。不過,允許爬取不等於保證收錄;也不能僅憑這則回答,就認定所有機器人在找不到檔案時都會採取相同行為。
有明確爬取管理需求,才值得設定
可以先列出不需要爬蟲反覆讀取的網址,再判斷是否需要設定規則。robots.txt 的用途包括:
- 排除大量搜尋或篩選網址:依網站性質,排除不需要爬取的站內搜尋結果、分面篩選頁面或特定參數網址,減少爬取資源的耗用。
- 限制購物車等功能網址的爬取:先確認這些網址不需要出現在搜尋結果中,再評估是否限制爬取。Search Engine Journal 在 2026 年報導中引述 Mueller,指出封鎖加入購物車網址是可接受的做法,但這些網址仍可能被索引。
- 標示網站地圖:robots.txt 也可提供 Sitemap 路徑,不只是禁止清單。
這些用途各自對應不同需求,不代表「封鎖越多,排名越好」,也不代表每個網站都適合同一份設定。
不想被收錄或需要保密,要分開處理
大衛營數位在 2022 年的文章中說明兩者的差別:robots.txt 限制爬取,noindex 限制索引。若目的是讓一般網頁不被收錄,應評估使用 noindex;若同時阻擋爬取,搜尋引擎便可能無法讀到頁面上的 noindex。
對於是否封鎖登入頁,各來源的建議並不一致:awoo 將登入頁列為可排除爬取的例子,大衛營數位則提醒,不應把列出後台路徑當成保護措施。因此,應先分清楚自己的目標是減少爬取、避免收錄,還是保護資料。機密內容需要存取保護,不能只靠 robots.txt。
設定後,確認重要內容沒有被誤擋
Backlinko 的 2024 年指南建議建立並測試規則,透過模擬 Googlebot 爬取來找出問題。例如,誤擋 CSS 或圖片可能影響頁面呈現。實際設定時,應先確認排除範圍,而不是直接套用整份封鎖清單;設定後,再檢查需要曝光的頁面及其所需資源是否仍可被爬取。
主題的網路各方意見
主網域下的每個資料夾都要建立獨立的 robots.txt 嗎?
robots.txt 能擋住所有機器人嗎?
想讓網站圖片不出現在 Google 搜尋結果,可以用 robots.txt 嗎?
可以,但這是針對圖片的特定做法。Google 的資料指出,對自家網站代管、且不需立即移除的圖片,可選擇 robots.txt 禁止規則,或在圖片回應中使用 noindex X-Robots-Tag。兩者不宜同時用於同一圖片,因為 Googlebot 必須能檢索網址,才能讀取 HTTP 標頭;若需快速移除,另有移除工具。
參考資料
- 從 Google 搜尋中移除自己網站上的圖片 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:想讓網站圖片不出現在 Google 搜尋結果,可以用 robots.txt 嗎?
- Checked 2,474 local business sites for AI search readiness, curious what you're seeing with clientslocalsearchforum.com — 討論:robots.txt 能擋住所有機器人嗎?
- Do I need robots.txt?webmasters.stackexchange.com — 本文論述的參考來源。
- 三大熱門開店平台評比-SHOPLINE、91APP、Shopify 及電商 SEO 優化全攻略www.awoo.ai · 2024-02-21T01:52:30+00:00 — 本文論述的參考來源。
- Google Explains Why URLs Blocked By Robots.txt Can Still Be Indexedwww.searchenginejournal.com · 2026-06-17T10:58:48+00:00 — 本文論述的參考來源。
- Faceted Navigation & How It Impacts SEOneilpatel.com · 2024-11-22T20:00:00+00:00 — 本文論述的參考來源。
- Website Migration SEO Checklist (88 Steps + Free Template)backlinko.com · 2024-04-01T17:23:50-05:00 — 本文論述的參考來源。
- 用 robots.txt、noindex 限制搜尋引擎抓網站資料www.da-vinci.com.tw · 2022-09-11T23:38:01+08:00 — 本文論述的參考來源。
- Robots.txt In SEO ?www.warriorforum.com — 討論:主網域下的每個資料夾都要建立獨立的 robots.txt 嗎?
- What Is a Website Crawler? How It Works + Tools to Trywww.semrush.com · 2021-05-19T07:18:00Z — 討論:robots.txt 能擋住所有機器人嗎?
- 檢索預算(Crawl Budget)是什麼?中大型網站不可不知的SEO項目!www.awoo.ai · 2022-05-24T06:21:55+00:00 — 本文論述的參考來源。
- Robots.txt In SEO ?www.warriorforum.com — 討論:主網域下的每個資料夾都要建立獨立的 robots.txt 嗎?
- Robots.txt In SEO ?www.warriorforum.com — 討論:主網域下的每個資料夾都要建立獨立的 robots.txt 嗎?



