如何維持網站可爬取性?從定期稽核、問題排序到修後複查

ProcrustesPR

維持網站可爬取性,重點是定期爬取網站、找出阻礙存取的問題、依影響程度修正,並在更新後重新稽核。內部失效連結、伺服器錯誤,以及依賴 JavaScript 卻無法正確呈現的內容,都值得檢查。稽核不應只看總分,而要確認哪些網址受影響、該如何處理問題,以及修正後問題是否仍然存在。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先設定檢查範圍,避免漏看重要內容

開始稽核前,先決定要檢查的頁面數量、爬取來源與網址範圍。Semrush 的 2023 年教學列出直接爬取網站、使用網站地圖或上傳網址清單等方式,也說明如何指定要納入或排除的網址。這些說明適用於當時的工具設定,現行介面可能不同。

若網站大量依賴 JavaScript,還要確認稽核時是否啟用 JavaScript 呈現功能。該教學指出,啟用後可讓爬蟲看到與訪客相同的內容,使結果更準確,但爬取可能耗時較長。Neil Patel 的 2023 年文章也提醒,JavaScript 能在初始 HTML 載入後改動內容與連結;搜尋引擎若無法呈現這些內容,可能無法正確索引。

按嚴重程度處理,並查看受影響網址

Semrush 的 2021 年文章將稽核項目分為錯誤、警告與通知,建議先處理影響較大的問題。這是工具的分類與處理建議,不是搜尋引擎的官方規則:

  • 錯誤:優先查看可能妨礙爬取、索引或影響網站效能的嚴重問題。
  • 警告:接著處理仍可能影響 SEO、但嚴重程度較低的項目。
  • 通知:最後檢視較不緊急、仍值得改善的細節。

展開每項問題,查看受影響的具體網址與修復建議,才能根據報告安排修復工作,而不是只追求錯誤數下降。

失效連結與伺服器錯誤,要分開修

Semrush 一篇標示為 2016 年的文章,分別說明了這兩類問題的處理方式。內部連結若指向回傳 404 的失效頁面,可替換連結、還原頁面,或以 301 轉址至另一個相關頁面。若採用轉址,重要條件是目的地必須與原頁面相關。

若頁面回傳 500 等伺服器錯誤,表示伺服器無法完成請求,這會干擾爬取。可先整理受影響網址,再交由開發人員檢查伺服器設定;這與替換失效連結是不同的修復工作。

更新後重新稽核,持續維護網站

Semrush 在 2021 年文章中建議,完成網站更新後,再做一次稽核並比較前後結果。這能幫助了解修正對網站健康狀況的影響,但報告結果改善不代表排名已經提升。

已修好的問題仍可能再次發生,尤其是大型且經常變動的網站。Semrush 過去的文章建議透過每週自動稽核來監控網站,但並非所有網站都必須採用這個頻率。若遇到 JavaScript 呈現或索引問題,而你不熟悉相關技術,可尋求技術 SEO 專業人員協助診斷。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

網站可爬取性與稽核的網路各方意見

頁面可以爬取,就代表 JavaScript 內容一定會被正確索引嗎?

不一定。JavaScript 可能在初始 HTML 載入後修改內容、連結甚至中繼資料;即使爬蟲能存取頁面,搜尋引擎若無法呈現相關 JavaScript,仍可能無法正確索引內容。對大量依賴 JavaScript 的網站,除了確認頁面可存取,也要檢查重要內容是否能被呈現;不熟悉相關問題時,可尋求技術 SEO 專業協助。

什麼情況下可考慮請網站開發或設計人員協助?

當改善網站需要大規模變更時,可考慮請網站開發或設計人員協助。Semrush 的文章指出,這類工作可先透過技術稽核找出問題,再處理速度、可索引性、可爬取性及行動體驗等項目。是否需要外部服務,應依網站問題的範圍與現有團隊能力判斷,並非每次稽核都必須委外。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 討論:頁面可以爬取,就代表 JavaScript 內容一定會被正確索引嗎?
  2. What Is a Site Crawler? (How Do Site Crawlers Work?)www.semrush.com · 2021-06-11T15:55:00Z — 本文論述的參考來源。
  3. Keyword Rankings: What They Are & How to Check Yourswww.semrush.com · 2021-07-17T12:45:00Z — 本文論述的參考來源。
  4. Types of SEO: What Does Your Site Need to Succeed?www.semrush.com · 2023-01-04T15:38:00Z — 討論:什麼情況下可考慮請網站開發或設計人員協助?
  5. 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 本文論述的參考來源。
  6. Crawl Budget: What Is It and Why Is It Important for SEO?www.semrush.com · 2023-09-25T10:14:00Z — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR