何時應阻擋爬蟲,如何執行?

ProcrustesPR

當網站仍在測試、不準備公開,或不希望特定內容被爬取時,才考慮阻擋爬蟲;需要搜尋曝光的頁面則不宜一律封鎖。執行前先分清楚:你要的是停止爬取、讓頁面退出搜尋結果,還是限制存取?robots.txt 只能約束遵守規則的爬蟲,不是保密措施,也不保證網址會從搜尋結果消失。敏感內容應以登入或密碼保護。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先按目的選方法

  • 測試站不能讓外人看:應要求登入或輸入密碼,避免未授權訪客直接讀取內容,而不是只要求爬蟲不要抓取。
  • 公開頁面不想被搜尋收錄:應考慮 noindex;若頁面已不再需要,也可刪除並回傳 404。這些做法與阻止爬取不同。
  • 仍希望取得搜尋流量:不要為了「防機器人」而全面擋住搜尋爬蟲,否則搜尋引擎會無法讀取受阻的內容。

例如,尚未上線的測試站與需要被找到的產品頁,不能套用同一套全站封鎖設定。前者需要限制存取,後者則須讓搜尋引擎能讀取內容。

robots.txt 能要求爬蟲停止爬取,但不是門禁

Semrush 一篇標示日期為 2021 年的文章提供了禁止爬取全站的範例,並明確提醒:只有遵守規則的爬蟲會照做,惡意或不配合的機器人可能忽略這些規則。範例如下:

User-agent: *
Disallow: /

第一行指定所有爬蟲,第二行要求不要爬取網站上的任何頁面。若只想限制特定路徑,社群回答也提供了 Disallow: /mypage 的範例。設定範圍應限於真正不想被爬取的內容,不要直接擴大到整站。

不要以為加上這段設定,內容就已經保密。只要頁面仍可公開存取,不遵守規則的機器人就可能繼續讀取。

要讓頁面退出搜尋結果,須讓 Google 讀到變更

Webmasters Stack Exchange 的回答指出,即使 Google 無法爬取頁面,仍可能在搜尋結果中顯示沒有摘要的網址。因此,「禁止爬取」不等於「禁止索引」。

同一回答也提醒,加入 noindex 或刪除頁面後,應讓 Googlebot 能重新爬取,才能讀到這些變更。此時若再用 robots.txt 阻擋,反而可能讓它無法得知頁面應從搜尋結果移除。

如果網站希望透過搜尋被找到,卻沒有出現在搜尋結果中,則應先檢查是否誤設全站 Disallow、是否有不必要的登入限制,以及是否誤留 noindex。這些只是排查方向,不代表解除限制後就一定會被收錄或取得排名。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

為了控制爬取,應該封鎖列表的分頁嗎?

如果分頁是搜尋引擎發現新內容的路徑,不宜一律阻止其被索引。Neil Patel 的文章提醒,爬蟲可能沿分頁連結找到新內容;因此,決定是否限制分頁前,應先確認這些頁面在網站導覽與內容發現中的作用。這是針對分頁的建議,並不表示所有分頁都必然需要出現在搜尋結果中。

用爬蟲特徵或 IP 封鎖時,有什麼限制?

特徵辨識與 IP 封鎖都可能漏判或誤判,因此不能只憑單一訊號判定爬蟲身分。iThome 文章引述 Anthropic 的提醒:IP 封鎖可能無法正確或持久地阻擋其爬蟲。另一篇分析指出,自訂識別字串與不固定的 IP 會增加偵測難度,行為分析也可能把合法流量判為異常。這些是來源提出的限制,並非各平台永久不變的規則。

懷疑爬蟲冒名時,應如何處理驗證結果?

不要把無法驗證身分直接當成冒名,也不要只憑一次判定就下結論。iThome 的分析建議,離線分批驗證紀錄,過程中只讀取、不修改資料,並區分「尚未確認」與「驗證失敗」。若在收集資料時就直接阻擋流量,一旦誤判,真實的造訪紀錄可能永久遺失。這項建議適用於爬蟲身分與流量分析,不代表所有防護規則都不能即時執行。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How to Remove URLs from Google Search Enginewebmasters.stackexchange.com — 本文論述的參考來源。
  2. Cloudflare 與 AI 爬蟲:提升網站於 AI 搜尋引擎的可見度tenten.co · 2025-03-05T04:54:54.000Z — 討論:用爬蟲特徵或 IP 封鎖時,有什麼限制?
  3. Crawl Depth: 10-Point Guide for SEOsneilpatel.com · 2025-04-02T16:00:00+00:00 — 討論:為了控制爬取,應該封鎖列表的分頁嗎?
  4. What Is a Website Crawler? How It Works + Tools to Trywww.semrush.com · 2021-05-19T07:18:00Z — 本文論述的參考來源。
  5. AI 爬蟲圖鑑:GPTBot、ClaudeBot、PerplexityBot 等等,認清那些半夜敲門的陌生人ithelp.ithome.com.tw — 討論:用爬蟲特徵或 IP 封鎖時,有什麼限制?
  6. [DAY29] SEO 是什麼?ithelp.ithome.com.tw — 本文論述的參考來源。
  7. UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:懷疑爬蟲冒名時,應如何處理驗證結果?
  8. Day 28 SEO 作用?真的可以讓 google 搜尋到嗎ithelp.ithome.com.tw — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR