排除網站可爬取性問題,應先把已發現的異常對應到具體網址,再分辨是設定封鎖、伺服器無法回應、連結失效,還是缺少可抵達頁面的路徑。優先修復阻止存取的問題,再改善內部連結與網站地圖;不要一律解除所有限制。會員內容等頁面可能需要保留存取限制,而可爬取性改善也不代表頁面必然獲得排名。
先確認受影響網址,排出修復順序
若手上只有稽核報告的錯誤總數,先展開每項問題,查看受影響網址及修復說明。網站稽核能協助定位問題,但處理時仍要確認:這些頁面是否原本就希望讓搜尋引擎存取?
- 先處理阻斷存取的錯誤:例如重要頁面遭封鎖、回傳伺服器錯誤,或陷入轉址迴圈。
- 再處理其他警告與通知:Semrush 的歷史教學將問題分為錯誤、警告及通知,建議依此安排優先順序;這是工具的分類建議,不是搜尋引擎的官方規則。
檢查 robots.txt,也確認必要資源能否讀取
查看 robots.txt 是否誤擋需要公開搜尋的頁面。例如「Disallow: /products/」會封鎖對應產品目錄;若產品頁本來就應開放爬取,應調整該封鎖規則,而非直接清空整份設定。
檢查範圍也要包含 JavaScript。若載入主要內容的檔案被封鎖,爬蟲可能看不到內容;可請開發人員辨識必要檔案,再移除不適當的限制。登入或付費牆則須逐頁評估,不能為了爬取而一律取消會員專屬內容的限制。
依錯誤類型修復,不把所有失敗網址都轉址
- 5xx 伺服器錯誤:整理受影響頁面交由開發人員檢查伺服器設定。這類問題表示伺服器未能完成請求,會干擾爬取。
- 內部連結指向 404:可更新連結、還原遺失頁面,或以 301 轉址到相關頁面;應依內容是否仍需保留選擇做法。
- 重新導向迴圈:例如甲頁轉到乙頁,乙頁又轉回甲頁,爬蟲便無法抵達目的地。找出循環中的轉址設定並修正。
頁面可存取,還要有能被發現的路徑
沒有內部連結指向的孤兒頁,可能難以被搜尋引擎發現。可依「首頁、分類頁、個別頁面」建立合理階層,並從內容相關的頁面加入連結,而不是讓重要頁面藏在過深的點擊路徑中。
同時核對網站地圖是否漏掉希望被爬取的頁面,補齊後提交給 Google。內部連結提供發現頁面的路徑,網站地圖則列出希望搜尋引擎注意的網址;兩者都應納入檢查,不要只修復報告中已有的失效連結。
網站可爬取性問題的網路各方意見
希望出現在搜尋結果的頁面被設為 noindex,該怎麼處理?
先盤點帶有 noindex 的頁面,確認每頁是否原本希望被搜尋引擎索引及排名;若是不慎設定,可移除標籤。noindex 主要控制的是索引,不應與禁止爬取混為一談。相反地,PPC 登陸頁或感謝頁若本來就不打算納入索引,保留標籤可能是合適的。
內部連結使用 nofollow 時,需要全部移除嗎?
不必全部移除。應先檢查頁面上的 nofollow 標籤或內部連結屬性,確認設定是否適當,只移除不適當的設定。這類設定可能使搜尋引擎不爬取連結指向的頁面,因此當重要頁面難以被發現時,也應檢查這些設定。
重複內容和大量網址參數該如何處理?
先確認為何有多個網址提供相同內容。因錯誤產生的重複頁面,可轉址至要保留的主要網址;若不同頁面有必要保留相同內容,可用 canonical 指定希望索引的主要頁面。當參數產生大量網址變體時,應先評估使用者是否會搜尋這些頁面的內容,再決定哪些網址值得爬取,避免一律封鎖。
網站速度慢會影響爬取嗎?
可能會。爬蟲的時間與資源有限,頁面載入緩慢可能減少單次能爬取的頁數,使重要頁面被遺漏。若已發現速度問題,可找出載入慢的頁面並改善整體效能,也應檢查行動版速度與顯示情況;行動版緩慢可能增加爬取所需資源。
參考資料
- 15 Crawlability Problems & How to Fix Themwww.semrush.com · 2016-09-15T13:09:15Z — 討論:希望出現在搜尋結果的頁面被設為 noindex,該怎麼處理?;內部連結使用 nofollow 時,需要全部移除嗎?
- Yoast SEO: A Beginner’s Guide to the WordPress Pluginwww.semrush.com · 2021-04-21T09:34:00Z — 討論:問題修復後還需要持續檢查嗎?
- What Is a Site Crawler? (How Do Site Crawlers Work?)www.semrush.com · 2021-06-11T15:55:00Z — 本文論述的參考來源。



