如何檢驗爬蟲是否遵守規則?先查日誌,再做允許與禁止對照

ProcrustesPR

檢驗爬蟲是否遵守已明定的規則,不能只看它有沒有抓取禁止頁面。本文以 robots.txt 為範圍:先查爬蟲是否讀取規則,再讓同一系統在可比較的條件下嘗試抓取允許與禁止頁面,並用伺服器日誌及頁面的獨特內容核對結果。成功取得允許頁、未取得禁止頁,才有支持其遵守規則的證據;兩邊都沒取得,仍無法判定。

ProcrustesPRProcrustesPR自己做 SEO,預算怎麼分配?

先確認讀過規則,但別把讀取當成遵守

從存取日誌找出對 robots.txt 的請求,整理請求時間、IP 與 User-Agent,就能觀察哪些爬蟲曾讀取檔案,以及讀取頻率。這只能回答「有沒有取得規則」,不能說明「後續行為是否符合規則」;還須對照目標頁面的請求紀錄。

更新規則後,也要留意快取及更新生效所需的時間。一篇介紹爬蟲測試的文章引述規範指出,爬蟲不應使用快取版本超過 24 小時,但 robots.txt 無法連線時有例外。該文因此建議修改後至少等待 24 小時再測。這是測試建議,不代表所有平台都保證一天內生效。該文引述的 OpenAI 約 24 小時說明僅適用於搜尋結果;作者也表示,未在 Anthropic 文件中找到更新生效所需時間的說明。

設四種對照,排除「只是抓不到」

同一篇文章引述的 2026 年 7 月 arXiv 論文指出,只有當同一系統能在可比較的條件下成功取得允許頁面時,未取得禁止頁面的結果才有判讀意義。測試可設計四種條件:

  • 全面允許:允許所有爬蟲抓取目標頁。
  • 全面禁止:禁止所有爬蟲抓取目標頁。
  • 專屬允許:只允許受測爬蟲抓取目標頁。
  • 專屬禁止:只禁止受測爬蟲抓取目標頁。

如果受測爬蟲遵守規則,預期會在第一、第三種條件下取得頁面,在第二、第四種條件下不取得頁面。這裡的「禁止」指 robots.txt 的規則,不等於伺服器真的阻斷連線。如果連允許頁也未被取得,原因可能是遭 WAF 阻擋、抓取過程失敗,或爬蟲沒有抓取意願。此時,即使禁止頁同樣未被取得,也不能據此認定爬蟲遵守規則。

用獨特內容核對,不只看回答像不像

在每個目標頁放入不同的隨機測試字串,再核對受測系統取得的內容與日誌,有助於判斷內容來自目標頁,還是既有記憶或轉述。該文介紹的 Cloudflare 2025 年測試,使用全新、尚未被索引,也無法透過公開入口發現的網域,以減少其他既有內容來源造成的混淆。不過,不能僅憑系統答出內容,就斷定它曾違法入侵。

最後,robots.txt 並不是能強制阻擋存取的機制。一篇 2021 年的文章提醒,不遵守規則的機器人可能忽略禁令,限制搜尋爬蟲也可能影響索引與曝光。因此,測試結果只適用於受測系統、規則版本與測試條件,不能當成該爬蟲永遠遵守規則的保證。

ProcrustesPRProcrustesPR文章發了,為什麼 Google 還找不到?

主題的網路各方意見

如何核對日誌中的爬蟲身分?

可先查受測爬蟲是否提供官方 IP 名單或驗證方法,再與日誌紀錄核對。一篇整理爬蟲資訊的文章指出,Applebot 提供 IP 名單及反查驗證方法,CCBot 也公布 IP。不過,截至 2026 年 9 月 6 日,作者仍未找到 xAI、字節跳動與 DeepSeek 的官方 IP 名單或站長說明。缺少這些資料會限制身分核對,但不能因此直接斷定爬蟲違規。

能從 User-Agent 辨認讀取 robots.txt 的請求嗎?

有時可以,但要留意是哪一種爬蟲,以及紀錄涵蓋的時間。一份爬蟲註冊表記錄,自 2026 年 8 月 3 日起,GPTBot 和 OAI-SearchBot 抓取 robots.txt 時,User-Agent 會帶有 robots.txt 標記。這可作為辨認此類請求的線索,但只是作者記錄到的行為,不代表所有爬蟲都有相同標記,也不能僅憑標記認定後續抓取符合規則。

ProcrustesPR新手做 SEO 八大關鍵 – 網站收錄篇

參考資料

  1. AI 爬蟲圖鑑:GPTBot、ClaudeBot、PerplexityBot 等等,認清那些半夜敲門的陌生人ithelp.ithome.com.tw — 討論:如何核對日誌中的爬蟲身分?
  2. What Is a Website Crawler? How It Works + Tools to Trywww.semrush.com · 2021-05-19T07:18:00Z — 本文論述的參考來源。
  3. robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 討論:能從 User-Agent 辨認讀取 robots.txt 的請求嗎?

更多相關討論

自己做 SEO,預算怎麼分配?文章發了,為什麼 Google 還找不到?新手做 SEO 八大關鍵 – 網站收錄篇新手做 SEO 八大關鍵 – 標題描述篇新手做 SEO 八大關鍵 – 網站速度篇下架商品產生的 404 頁面,會影響搜尋排名嗎?SEO 新手最常犯的五大錯誤SEO 的 H 標籤怎麼設定?先分清主題與層級,再安排關鍵字
ProcrustesPR
ProcrustesPR