當網站仍在測試、不準備公開,或不希望特定內容被爬取時,才考慮阻擋爬蟲;需要搜尋曝光的頁面則不宜一律封鎖。執行前先分清楚:你要的是停止爬取、讓頁面退出搜尋結果,還是限制存取?robots.txt 只能約束遵守規則的爬蟲,不是保密措施,也不保證網址會從搜尋結果消失。敏感內容應以登入或密碼保護。
先按目的選方法
- 測試站不能讓外人看:應要求登入或輸入密碼,避免未授權訪客直接讀取內容,而不是只要求爬蟲不要抓取。
- 公開頁面不想被搜尋收錄:應考慮 noindex;若頁面已不再需要,也可刪除並回傳 404。這些做法與阻止爬取不同。
- 仍希望取得搜尋流量:不要為了「防機器人」而全面擋住搜尋爬蟲,否則搜尋引擎會無法讀取受阻的內容。
例如,尚未上線的測試站與需要被找到的產品頁,不能套用同一套全站封鎖設定。前者需要限制存取,後者則須讓搜尋引擎能讀取內容。
robots.txt 能要求爬蟲停止爬取,但不是門禁
Semrush 一篇標示日期為 2021 年的文章提供了禁止爬取全站的範例,並明確提醒:只有遵守規則的爬蟲會照做,惡意或不配合的機器人可能忽略這些規則。範例如下:
User-agent: *
Disallow: /
第一行指定所有爬蟲,第二行要求不要爬取網站上的任何頁面。若只想限制特定路徑,社群回答也提供了 Disallow: /mypage 的範例。設定範圍應限於真正不想被爬取的內容,不要直接擴大到整站。
不要以為加上這段設定,內容就已經保密。只要頁面仍可公開存取,不遵守規則的機器人就可能繼續讀取。
要讓頁面退出搜尋結果,須讓 Google 讀到變更
Webmasters Stack Exchange 的回答指出,即使 Google 無法爬取頁面,仍可能在搜尋結果中顯示沒有摘要的網址。因此,「禁止爬取」不等於「禁止索引」。
同一回答也提醒,加入 noindex 或刪除頁面後,應讓 Googlebot 能重新爬取,才能讀到這些變更。此時若再用 robots.txt 阻擋,反而可能讓它無法得知頁面應從搜尋結果移除。
如果網站希望透過搜尋被找到,卻沒有出現在搜尋結果中,則應先檢查是否誤設全站 Disallow、是否有不必要的登入限制,以及是否誤留 noindex。這些只是排查方向,不代表解除限制後就一定會被收錄或取得排名。
主題的網路各方意見
為了控制爬取,應該封鎖列表的分頁嗎?
如果分頁是搜尋引擎發現新內容的路徑,不宜一律阻止其被索引。Neil Patel 的文章提醒,爬蟲可能沿分頁連結找到新內容;因此,決定是否限制分頁前,應先確認這些頁面在網站導覽與內容發現中的作用。這是針對分頁的建議,並不表示所有分頁都必然需要出現在搜尋結果中。
用爬蟲特徵或 IP 封鎖時,有什麼限制?
懷疑爬蟲冒名時,應如何處理驗證結果?
不要把無法驗證身分直接當成冒名,也不要只憑一次判定就下結論。iThome 的分析建議,離線分批驗證紀錄,過程中只讀取、不修改資料,並區分「尚未確認」與「驗證失敗」。若在收集資料時就直接阻擋流量,一旦誤判,真實的造訪紀錄可能永久遺失。這項建議適用於爬蟲身分與流量分析,不代表所有防護規則都不能即時執行。
參考資料
- How to Remove URLs from Google Search Enginewebmasters.stackexchange.com — 本文論述的參考來源。
- Cloudflare 與 AI 爬蟲:提升網站於 AI 搜尋引擎的可見度tenten.co · 2025-03-05T04:54:54.000Z — 討論:用爬蟲特徵或 IP 封鎖時,有什麼限制?
- Crawl Depth: 10-Point Guide for SEOsneilpatel.com · 2025-04-02T16:00:00+00:00 — 討論:為了控制爬取,應該封鎖列表的分頁嗎?
- What Is a Website Crawler? How It Works + Tools to Trywww.semrush.com · 2021-05-19T07:18:00Z — 本文論述的參考來源。
- AI 爬蟲圖鑑:GPTBot、ClaudeBot、PerplexityBot 等等,認清那些半夜敲門的陌生人ithelp.ithome.com.tw — 討論:用爬蟲特徵或 IP 封鎖時,有什麼限制?
- [DAY29] SEO 是什麼?ithelp.ithome.com.tw — 本文論述的參考來源。
- UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:懷疑爬蟲冒名時,應如何處理驗證結果?
- Day 28 SEO 作用?真的可以讓 google 搜尋到嗎ithelp.ithome.com.tw — 本文論述的參考來源。



