排查網站索引異常,先確認 Google 是否已探索(爬取)頁面,再查看未索引的原因。頁面可能尚未被探索、已探索但未索引,也可能因設定而被排除、網址已失效,或 Google 選擇了其他版本建立索引。「未索引」不是單一故障,不能單憑這個狀態判定網站遭到懲罰。目前沒有特定網站的異常現象與索引資料,因此以下提供排查流程,不對個別網站下診斷。
先看未索引原因,再決定排查方向
先在 Search Console 的頁面索引報告中查看未索引原因及受影響網址,再分別處理。本文參考的 Semrush 文章標示日期為2020年;以下採用其排查思路,但不將文中的介面描述視為現行操作指引。
- 已發現但目前未索引:Google 知道網址存在,但尚未探索。來源指出,這可能與 Google 對網站負載的考量有關。可檢查內部連結,並檢視重複或內容薄弱的頁面是否消耗探索資源。
- 已探索但目前未索引:Google 已造訪頁面,但未將其納入索引。來源將內容品質列為常見檢查方向,但不代表品質已被證實是原因。可檢視內容是否原創、是否完整回答讀者問題。
確認阻擋設定是否符合頁面用途
先確認該頁是否真的需要出現在搜尋結果,再檢查設定;不要為了減少被排除的頁面數量,就一律移除限制。
- robots.txt:檢查是否有規則阻止 Googlebot 探索預期公開的頁面;若是誤設,再移除或調整。
- noindex:這是要求搜尋引擎不要為頁面建立索引的標記。只有希望被索引、卻誤加了標記的頁面,才需要移除該標記。
- canonical:確認各版本是否指向偏好的網址。若產品頁誤指向另一頁,應修正標準網址設定,而不是只反覆請求索引。
檢查連結與網址,讓重要內容能被找到
沒有內部連結指向的孤兒頁,以及藏在多層導覽後的頁面,都值得檢查。可在相關頁面加入通往重要頁面或新頁面的內部連結,必要時調整網站架構。來源將需要超過三次點擊才能到達的頁面列為檢查對象,但這不代表超過三次點擊就一定不會被索引。
若網址回傳404,應依內容狀況處理:內容誤刪可還原,網址拼錯可更正。內容已搬移時,應更新站內連結,也可將舊網址以301重新導向目前的版本。若內容已不存在,可把相關連結改為指向合適的替代內容。
整理重複版本,再追蹤修正結果
相同或高度相似的內容分散在多個網址,可能讓搜尋引擎索引非預期的版本。不需要的副本可合併至主要頁面,再將副本網址以301重新導向主要頁面;必須保留的副本,則可用 canonical 指定偏好版本。
完成修正後,可請求索引,並定期使用網址檢查工具追蹤結果,但提交請求不保證立即索引。也可配合定期網站稽核,持續找出連結、排除設定與網址方面的新問題。
網站索引異常常見問答:網路觀點整理
PDF 等非 HTML 資源未被索引時,還能檢查什麼?
可檢查回應中的 X-Robots-Tag 是否對資源設有限制;網站稽核工具也可能提示相關問題。來源指出,這類標記通常用於 PDF 等非 HTML 文件。先確認該資源是否需要被索引,再判斷限制是否需要調整,不宜一律移除。
站內連結存在,為什麼頁面仍可能難以被發現?
可檢查指向該頁的站內連結是否使用 nofollow。來源指出,Google 可能忽略這類連結,因此即使讀者看得到連結,搜尋引擎爬蟲仍可能難以透過它發現頁面。這只是排查線索,不代表所有 nofollow 連結都會被忽略,也不能單憑此設定斷定未索引的原因。
除了排除設定,還有哪些技術問題值得稽核?
可將行動裝置易用性、載入速度及重新導向問題列入檢查範圍,並使用網站稽核工具尋找可能影響探索的問題及受影響頁面。這些是來源提出的常見檢查方向,並非只要頁面載入慢或有重新導向,就能斷定它因此未被索引。
參考資料
- How to get your website indexed by Googlewww.semrush.com · 2020-12-28T14:21:00Z — 討論:PDF 等非 HTML 資源未被索引時,還能檢查什麼?;站內連結存在,為什麼頁面仍可能難以被發現?



