不能直接代表。探針只能顯示特定測試請求如何被處理;即使用相同 User-Agent(UA)測試,curl 也不等於真正的爬蟲。依參考資料的建議,可用探針快速檢查設定修改前後的差異,再搭配真實流量、事件與儲存紀錄判讀。探針收到 403,不足以證明爬蟲被擋,也不足以證明 Worker 沒有執行。
比較修改前後,要重跑相同 UA 矩陣
UA 矩陣是使用一組不同 UA 進行測試。參考資料建議保留修改前的 curl UA 矩陣輸出,修改後重跑同一個迴圈,並且一次只動一個變數。具體比較方式如下:
- 修改前的結果存為 ua-matrix-before.txt。
- 修改後使用相同 UA 組合,輸出至 ua-matrix-after.txt。
- 以 diff 比較兩份檔案,確認受測請求的回應是否改變。
diff 沒有顯示差異,只代表這組探針未觀察到前後變化。可能是改動未影響受測條件,不能單憑這個結果判定設定有效或無效。參考資料未列出完整 UA 清單與請求參數,因此這裡說明的是比對程序,而非完整可重現的測試報告。
相同 UA,仍可能受到不同處理
案例作者以匿名 curl 請求與經 IP 驗證的爬蟲說明差別:UA 名稱相同,不代表請求來源與經驗證的身分相同,因此可能受到不同處理。所以,不能只靠探針推論真實爬蟲遇到的情況,但這也不表示所有真實爬蟲都會獲准通行。
該作者回報,團隊曾在客戶案例中兩度誤判。第一次因探針收到 403,就宣稱網站擋住 AI 爬蟲,後來卻查到 ChatGPT-User、OAI-SearchBot 等仍有實際流量。第二次認定追蹤程式未執行,卻發現 403 回應帶有自家 Worker 的標頭,且該站當日有一萬多筆事件。這些只是作者回報的案例,不能用來推算普遍的成功率。
狀態碼之外,還要核對哪些證據?
- 回應標頭:案例中的 Worker 標頭支持程式曾執行的判斷,但不代表整個請求成功。參考資料指出,出現 cf-mitigated: challenge 可確認有挑戰訊號;未出現則不能據此排除遭到挑戰的可能。
- 安全事件:參考資料建議查看 Security Events 的 Service 欄位,協助辨識哪項安全功能介入,而不是只看 403。
- 實際紀錄:核對爬蟲事件與儲存紀錄,確認是否有其他證據支持探針告警。
案例作者的團隊因此採取「近期仍有流量就抑制探針告警」的內部策略。這是該團隊為避免單一訊號造成誤報而採取的做法,不是平台官方規則。有流量只能證明確有請求留下紀錄,不能推論所有爬蟲都能順利存取所有路徑。
探針測試結果的網路各方意見
把 curl 的 UA 設成爬蟲名稱,就能模擬真實爬蟲嗎?
測試回應沒有挑戰標頭,能排除遭到挑戰嗎?
不能。參考資料指出,回應出現 cf-mitigated: challenge 可確認有挑戰訊號,但沒有出現時,不能據此判定是否遭到挑戰。判讀時應同時查看回應標頭和狀態碼。若要了解真實爬蟲遇到的情況,仍需查實際事件,不能直接套用單次探針的結果。
查到部分爬蟲有流量,能否解除所有受阻疑慮?
不能。有部分爬蟲的流量,不代表所有爬蟲或請求都能通過。在作者團隊回報的客戶案例中,探針收到 403,查事件卻發現數種爬蟲仍有流量,足以推翻當時「全部被擋」的判斷。但這些紀錄不能證明其他爬蟲或路徑也暢通,仍應針對關心的爬蟲或路徑核對事件與儲存紀錄。
參考資料
- Cloudflare 新制下既有 zone 的 AI 自查清單ithelp.ithome.com.tw — 討論:把 curl 的 UA 設成爬蟲名稱,就能模擬真實爬蟲嗎?
- robots.txt 明明放行了,Cloudflare 卻冷冷回個 403?揪出 WAF 與 Bot Fight Mode 的隱形暗礁ithelp.ithome.com.tw — 討論:把 curl 的 UA 設成爬蟲名稱,就能模擬真實爬蟲嗎?;測試回應沒有挑戰標頭,能排除遭到挑戰嗎?


