檢查時要分別回答兩個問題:爬蟲是否真的來過,以及頁面是否能被存取與讀取。要了解實際爬取活動,可用 Google Search Console 的抓取統計觀察 Google,其他爬蟲則需搭配伺服器日誌分析。要確認頁面能否被爬取,則需檢查存取限制、robots.txt、伺服器回應與頁面內容。工具測試成功不等於搜尋引擎已經爬取;單次測試遭拒,也不足以證明所有爬蟲都進不來。
實際來訪:先查抓取統計,再對照日誌
若要知道「Google 最近有沒有抓取網站」,先看 Search Console 抓取統計。Semrush 在 2023 年的介紹中列出抓取請求、下載量、平均回應時間與主機狀態等資訊,可用來觀察活動變化,找出排查方向。不過,這份報告並未涵蓋所有搜尋引擎或 AI 爬蟲的活動。
- 活動是否改變:比較報告涵蓋期間內的請求變化,不只看單一總數。
- 連線是否有問題:查看 robots.txt 擷取、DNS 與伺服器連線相關資訊。
- 哪些請求值得追查:依回應碼、檔案類型及請求用途等分類查看。
若要了解其他爬蟲的活動,需取得伺服器日誌。不過,日誌裡的 user-agent 名稱只是請求所宣稱的身分,不能單憑名稱就認定請求來自官方爬蟲。Search Engine Journal 一位作者於 2026 年針對單一網站的觀察也提醒:日誌無法說明使用者具體問了什麼,不宜據此推論搜尋意圖。
遇到 403:分清測試工具與真實爬蟲
iThome 的文章提到,作者團隊曾因自家的測試探針收到 403 回應,誤判網站封鎖了 AI 爬蟲;回查實際事件紀錄後,卻發現仍有爬蟲活動。在另一次案例中,團隊從回應標頭找到自家 Worker 留下的標記,推翻了「追蹤程式未執行」的判斷。
這些案例提醒我們:探針受到限制,不代表真實爬蟲也受到相同限制。測試失敗時,應一併核對回應標頭與實際事件紀錄。但也不能反過來認定所有 403 都沒有問題,仍須釐清是哪個請求在哪個環節遭拒。
頁面能否被爬取:檢查限制,也檢查內容
先確認目標頁面是否受 robots.txt、登入要求、HTTP 認證或 IP 白名單限制。也要分清爬取與索引:Tenten 的 2023 年文章指出,即使 robots.txt 阻止 Google 存取,網址仍可能因其他連結而被編入索引。因此,禁止爬取並不保證能將網址從搜尋結果中移除。
若重要內容由 JavaScript 產生,還要比較原始 HTML、JavaScript 執行後的 HTML 與畫面上可見的內容。Screaming Frog 於 2021 年介紹的方法,是檢查重要文字與連結是否出現在轉譯後的 DOM。這能協助找出內容讀取問題,但不能取代搜尋引擎實際來訪的紀錄。
主題的網路各方意見
如何檢查不當的 nofollow 與 noindex 設定?
可用網站稽核工具列出含有 nofollow 的內部連結及設為 noindex 的頁面,再逐一確認設定是否符合用途。不當的 nofollow 可能使搜尋引擎不爬取連結目標;若頁面原本希望在搜尋結果中排名,則應檢查是否誤設 noindex。付費廣告登陸頁或感謝頁使用 noindex,則可能是有意安排,不必一律移除。
大量參數網址或重複內容該怎麼檢查?
先盤點參數產生的網址變體,判斷其內容是否有搜尋需求,再決定哪些值得爬取;大量無用變體可能消耗爬取資源。重複頁面則可透過稽核工具找出:若是錯誤產生,可轉址至主要網址;若有保留必要,可用 canonical 標籤指出希望被索引的主要頁面,不宜一律刪除。
網站稽核報告能提供哪些排查線索?
定期執行網站稽核,可及早發現可爬取性問題。以 Site Audit 的報告為例,可查看工具爬過的頁面,以及重新導向、重複內容或載入緩慢等問題,再點入受影響頁面追查。若啟用 JavaScript 轉譯,結果可能較準確,但稽核時間也可能較長;應依網站內容與檢查需求選擇。
分析 AI 抓取活動時,如何區分不同用途?
先區分使用者即時觸發的助手抓取與背景排程的爬蟲活動,再留意背景爬蟲可能用於搜尋檢索或模型訓練。檢索與訓練的用途及可觀察結果不同:檢索取得的內容可能用於近期回答,訓練內容則可能用於未來模型,訓練效果無法從一般儀表板直接看見。即時抓取紀錄也無法說明使用者具體詢問了什麼。
參考資料
- robots.txt 明明放行了,Cloudflare 卻冷冷回個 403?揪出 WAF 與 Bot Fight Mode 的隱形暗礁ithelp.ithome.com.tw — 本文論述的參考來源。
- 技術 SEO 初學者指南 (by Ahrefs)tenten.co · 2023-07-30T15:00:24.000Z — 本文論述的參考來源。
- 81.8% Of My ‘AI Assistant’ Traffic Was Fake. The Googlebot Number Was Worsewww.searchenginejournal.com · 2026-06-25T13:30:24+00:00 — 討論:分析 AI 抓取活動時,如何區分不同用途?
- Conducting an SEO Content Audit: 6 Things You Might Be Overlookingwww.screamingfrog.co.uk · 2021-11-15T13:37:48+00:00 — 本文論述的參考來源。
- 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 討論:如何檢查不當的 nofollow 與 noindex 設定?;大量參數網址或重複內容該怎麼檢查?
- Crawl Budget: What Is It and Why Is It Important for SEO?www.semrush.com · 2023-09-25T10:14:00Z — 討論:網站稽核報告能提供哪些排查線索?
