如何找出爬取錯誤並排定處理順序?

ProcrustesPR

要找出爬取錯誤,可交叉檢查伺服器日誌、Google Search Console 與網站稽核工具的資料,整理受影響網址、回應狀態及爬取紀錄。安排處理順序時,先看問題是否阻擋搜尋引擎存取,以及影響整站還是個別頁面,再考量頁面對業務的重要性與可用資源。工具標示的問題嚴重程度可供初步篩選,但不能單靠錯誤總數決定處理順序。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先找出出錯的網址,再確認發生情況

三種資料各有用途:Search Console 可協助查看 Google 回報的問題;網站稽核工具可主動掃描網站,列出問題頁面與修復建議;伺服器日誌則可追查個別網址的爬取情況。整理時,不要只記錄錯誤數量,還要保留能供查核的細節。

  • 受影響網址:哪些頁面出錯,是否涉及重要商品頁。
  • 回應狀態:例如 404,表示指定網址找不到頁面,可能是內容已刪除或網址拼錯。
  • 發生紀錄:查看狀態碼隨時間的變化,以及個別網址最近被爬取的日期,協助判斷問題是否持續發生,或確認是否已修復。

若要抽查單頁,也可透過瀏覽器開發者工具的網路請求紀錄,檢視該頁 HTML 文件的 HTTP 狀態碼。

評估影響範圍,不把單頁錯誤當成整站失效

整站存取問題與個別網址錯誤應分開評估。某頁回傳 404,不代表搜尋引擎就無法正常爬取其他頁面。因此,不能僅因報表出現 404,就判定搜尋引擎無法爬取整個網站。

接著要看網站目標。Semrush 在 2022 年的文章舉例:若搜尋引擎經常爬取部落格,卻忽略業務上更重要的商品頁,可以考慮調整內部連結。這是根據各頁面的爬取情況提出的檢查方向,不保證調整後就會收錄,也不表示所有網站都應優先處理商品頁。

先按嚴重程度篩選,再依網站實際情況排序

Semrush 的 2021 年資料將稽核問題分為錯誤、警告與通知,可作為初步排序參考:

  1. 先處理阻擋存取的重大問題:尤其是妨礙爬取或索引的項目。
  2. 接著處理較重要的警告:檢查受影響頁面,結合業務目標安排修復。
  3. 較輕微的通知留待後續處理:待主要障礙處理後,再安排改善。

但這不是搜尋引擎的官方處理順序。Screaming Frog 在 2022 年的說明也強調,不能只照著問題清單處理,還要考量業務、策略、資源與網站的實際情況。例如,若日誌顯示原以為已重新導向的舊網址仍頻繁被爬取,就值得核對導向是否正確,而不只是設法讓報表上的錯誤數減少。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

爬取錯誤處理的網路各方意見

網站某天出現爬取錯誤,就代表問題一直存在嗎?

不一定。論壇使用者提出,當天網站停機或主機出問題,可能造成爬取錯誤;這只是待查的可能原因,不能直接認定是主機故障。可對照錯誤發生時間與伺服器紀錄,並觀察後續狀態碼是否仍出現異常,再決定是否持續追查或安排修復。

發現 404 網址後,應該一律重新導向嗎?

不必一律導向。404 表示指定網址找不到頁面,可能是內容已刪除,也可能是網址拼錯。若是連結寫錯,應更新連結;若頁面已搬移或移除,Semrush 建議可設定 301 重新導向。處理前先確認網址發生了什麼事,再選擇適合的修正方式。

錯誤數量未達某個門檻,就可以不處理嗎?

不能把單一數字當成通用門檻。一則討論認為,由含斜線字串造成的少量爬取錯誤不必擔心,數百萬筆則應修改字串;但這是針對特定情況的意見,並非官方規則。實際排序仍應結合問題性質、網站目標與資源,不能只看錯誤總數。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Google - Insights - Customer Viewswww.warriorforum.com — 討論:網站某天出現爬取錯誤,就代表問題一直存在嗎?
  2. What Are Crawl Errors & How Do They Affect SEO?www.semrush.com · 2021-06-10T16:30:00Z — 討論:發現 404 網址後,應該一律重新導向嗎?
  3. Screaming Frog SEO Spider Update – Version 17.0www.screamingfrog.co.uk · 2022-08-17T07:33:58+00:00 — 討論:錯誤數量未達某個門檻,就可以不處理嗎?
  4. SEO - Crawl Errorswebmasters.stackexchange.com — 討論:錯誤數量未達某個門檻,就可以不處理嗎?
  5. What Is a Site Crawler? (How Do Site Crawlers Work?)www.semrush.com · 2021-06-11T15:55:00Z — 本文論述的參考來源。
  6. Advanced SEO Tasks when Working with Wixwww.semrush.com · 2022-09-23T01:40:00Z — 討論:網站某天出現爬取錯誤,就代表問題一直存在嗎?
  7. HTTP Status Codes Explained: Full List & Impact on SEOwww.semrush.com · 2021-03-22T15:00:00Z — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR