維持網站可爬取性,重點是定期爬取網站、找出阻礙存取的問題、依影響程度修正,並在更新後重新稽核。內部失效連結、伺服器錯誤,以及依賴 JavaScript 卻無法正確呈現的內容,都值得檢查。稽核不應只看總分,而要確認哪些網址受影響、該如何處理問題,以及修正後問題是否仍然存在。
先設定檢查範圍,避免漏看重要內容
開始稽核前,先決定要檢查的頁面數量、爬取來源與網址範圍。Semrush 的 2023 年教學列出直接爬取網站、使用網站地圖或上傳網址清單等方式,也說明如何指定要納入或排除的網址。這些說明適用於當時的工具設定,現行介面可能不同。
若網站大量依賴 JavaScript,還要確認稽核時是否啟用 JavaScript 呈現功能。該教學指出,啟用後可讓爬蟲看到與訪客相同的內容,使結果更準確,但爬取可能耗時較長。Neil Patel 的 2023 年文章也提醒,JavaScript 能在初始 HTML 載入後改動內容與連結;搜尋引擎若無法呈現這些內容,可能無法正確索引。
按嚴重程度處理,並查看受影響網址
Semrush 的 2021 年文章將稽核項目分為錯誤、警告與通知,建議先處理影響較大的問題。這是工具的分類與處理建議,不是搜尋引擎的官方規則:
- 錯誤:優先查看可能妨礙爬取、索引或影響網站效能的嚴重問題。
- 警告:接著處理仍可能影響 SEO、但嚴重程度較低的項目。
- 通知:最後檢視較不緊急、仍值得改善的細節。
展開每項問題,查看受影響的具體網址與修復建議,才能根據報告安排修復工作,而不是只追求錯誤數下降。
失效連結與伺服器錯誤,要分開修
Semrush 一篇標示為 2016 年的文章,分別說明了這兩類問題的處理方式。內部連結若指向回傳 404 的失效頁面,可替換連結、還原頁面,或以 301 轉址至另一個相關頁面。若採用轉址,重要條件是目的地必須與原頁面相關。
若頁面回傳 500 等伺服器錯誤,表示伺服器無法完成請求,這會干擾爬取。可先整理受影響網址,再交由開發人員檢查伺服器設定;這與替換失效連結是不同的修復工作。
更新後重新稽核,持續維護網站
Semrush 在 2021 年文章中建議,完成網站更新後,再做一次稽核並比較前後結果。這能幫助了解修正對網站健康狀況的影響,但報告結果改善不代表排名已經提升。
已修好的問題仍可能再次發生,尤其是大型且經常變動的網站。Semrush 過去的文章建議透過每週自動稽核來監控網站,但並非所有網站都必須採用這個頻率。若遇到 JavaScript 呈現或索引問題,而你不熟悉相關技術,可尋求技術 SEO 專業人員協助診斷。
網站可爬取性與稽核的網路各方意見
頁面可以爬取,就代表 JavaScript 內容一定會被正確索引嗎?
不一定。JavaScript 可能在初始 HTML 載入後修改內容、連結甚至中繼資料;即使爬蟲能存取頁面,搜尋引擎若無法呈現相關 JavaScript,仍可能無法正確索引內容。對大量依賴 JavaScript 的網站,除了確認頁面可存取,也要檢查重要內容是否能被呈現;不熟悉相關問題時,可尋求技術 SEO 專業協助。
什麼情況下可考慮請網站開發或設計人員協助?
當改善網站需要大規模變更時,可考慮請網站開發或設計人員協助。Semrush 的文章指出,這類工作可先透過技術稽核找出問題,再處理速度、可索引性、可爬取性及行動體驗等項目。是否需要外部服務,應依網站問題的範圍與現有團隊能力判斷,並非每次稽核都必須委外。
參考資料
- Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 討論:頁面可以爬取,就代表 JavaScript 內容一定會被正確索引嗎?
- What Is a Site Crawler? (How Do Site Crawlers Work?)www.semrush.com · 2021-06-11T15:55:00Z — 本文論述的參考來源。
- Keyword Rankings: What They Are & How to Check Yourswww.semrush.com · 2021-07-17T12:45:00Z — 本文論述的參考來源。
- Types of SEO: What Does Your Site Need to Succeed?www.semrush.com · 2023-01-04T15:38:00Z — 討論:什麼情況下可考慮請網站開發或設計人員協助?
- 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 本文論述的參考來源。
- Crawl Budget: What Is It and Why Is It Important for SEO?www.semrush.com · 2023-09-25T10:14:00Z — 本文論述的參考來源。



