爬取活動能幫助網站經營者了解哪些爬蟲正在取用內容,以及這些活動是為了搜尋檢索、模型訓練,還是由使用者觸發的即時抓取。這些紀錄也能提供線索,協助排查爬取效率問題。前提是先確認爬取者身分,並分開解讀不同活動。被抓取不等於已被索引、進入模型或帶來流量,日誌也不能直接揭露使用者的提問意圖。
先確認誰來抓取,再看活動次數
本文所說的活動紀錄,包括網站日誌中的抓取請求,以及核驗身分後彙整的爬蟲活動資料。日誌上出現 Googlebot 名稱,只能表示該請求自稱來自 Google;核驗前,不能直接將它計入 Google 的實際爬取量。
Duane Forrester 在 2026 年文章中,以一個新網站的兩週紀錄為例:核驗後,ClaudeBot 有 166 次爬取,Googlebot 有 107 次。這能呈現該站當時的爬蟲組成,卻不能證明整體市場趨勢,也不代表所有網站都應追求這樣的比例。
檢索、訓練與即時抓取,回答不同問題
- 檢索爬蟲:建立索引,讓助手查找近期來源,這與內容近期能否被助手取用有關。不過,爬取紀錄不代表內容已出現在助手的答案中。
- 訓練爬蟲:收集的內容可能用於未來的模型,影響要較晚才可能顯現。看到這類活動,不代表內容已進入模型,也不能把它算成推薦流量。
- 即時助手抓取:在真實使用者與助手對話時觸發,與背景排程爬取不同,應分開統計。
例如,ChatGPT-User 與 GPTBot、Claude-User 與 ClaudeBot,各自代表不同類型的活動。確認為即時抓取後,可以知道頁面曾在使用者操作助手時被取用。但日誌無法告訴我們:使用者是指名搜尋這個網站,還是詢問較廣泛的主題,讓助手取用了這個頁面。
爬取與索引的落差,可作為排查線索
傳統搜尋爬蟲的活動,也能幫助經營者檢視資源使用情況。Fili Wiese 在 2015 年文章中,曾依經驗提出:對大型商業網站而言,每日爬取頁數與 Google 已索引頁數的比例約為 10:1,是合理的參考值。這是特定時期、特定網站類型的經驗判斷,不是 Google 現行官方標準。
該文認為,比例若更不利,可能表示資源使用效率不佳,背後或有網站結構或內容問題,進而可能影響自然搜尋表現。不過,這個比例只是調查起點,不能單憑它認定原因。下一步應查看日誌,確認 Googlebot 實際抓取哪些頁面,再追查問題,而不是只看爬取總量高低。
關於不同爬取活動的各方觀點
其他網站的爬蟲占比,可以當成自己網站的比較基準嗎?
可以用來留意可能被忽略的爬蟲,但不宜直接當成個別網站的目標。BrightEdge 內部數據顯示,在 2025 年 11 月至 2026 年 3 月的追蹤期間,Applebot 約占 AI 搜尋爬取活動的 30%,ByteSpider 的活動成長 138%。這些數字描述的是該資料集與時段,不能推定所有網站都有相同占比或成長幅度。
網站經營者應該優先衡量檢索爬取,還是訓練爬取?
兩者都值得分開追蹤,但現有資料不足以判定所有網站都應優先衡量哪一種。Duane Forrester 認為,相較於內容目前能否在檢索時被找到,訓練爬取可能更重要,卻較少被追蹤衡量。這是他的判斷,不是已證實、適用所有網站的優先順序。內容用於訓練的效果較晚才會顯現,一般儀表板也無法直接呈現,因此不能只用短期流量衡量其價值。
可以只憑日誌中標示助手即時抓取的使用者代理名稱,估算使用者需求嗎?
不宜只憑名稱估算需求,因為請求可能冒用助手的使用者代理名稱,必須先核驗身分。在 Forrester 的單站案例中,33 次使用即時抓取代理名稱的請求,只有 6 次來自供應商公布的 IP 位址。這個結果僅限於該次可供檢查的請求,不能據此推算普遍的冒用率。即使核驗成功,紀錄仍無法告訴我們使用者究竟問了什麼。
參考資料
- 81.8% Of My ‘AI Assistant’ Traffic Was Fake. The Googlebot Number Was Worsewww.searchenginejournal.com · 2026-06-25T13:30:24+00:00 — 討論:網站經營者應該優先衡量檢索爬取,還是訓練爬取?;可以只憑日誌中標示助手即時抓取的使用者代理名稱,估算使用者需求嗎?
- Top 5 Google SEO Performance Indicatorswww.semrush.com · 2015-09-08T13:00:54Z — 本文論述的參考來源。
- The CMO And CIO Friction Point: Navigating The AI Agent And AEO Ecosystemwww.searchenginejournal.com · 2026-06-09T08:00:22+00:00 — 討論:其他網站的爬蟲占比,可以當成自己網站的比較基準嗎?
