追查單一 URL,要分開看兩件事:爬蟲從哪個頁面發現它,以及開啟後依序導向哪裡。前者可查入站連結與爬取路徑,後者則要檢查每一跳的網址、HTTP 狀態碼及最終目的地。這些方法能追查連結與導向,但不能據此認定網址的建立者或最早發布者;爬蟲的發現路徑不等於網址的歷史出處。
先找出哪個頁面連到這個 URL
Neil Patel 網站的 2023 年文章介紹,以 Screaming Frog 爬取網站後,選取要查的 URL,再查看下方的「inlinks」分頁,即可找出哪些頁面連到它。若問題是「網站哪裡還連著這個舊網址」,這比只看重新導向終點更切題。
但直接入站連結未必能說明爬蟲如何一路找到這個網址。Screaming Frog 的 2015 年文章指出,錯誤的相對連結可能產生多層網址,需要逐層往回追查;爬蟲也可能透過 canonical 元素,而非一般 HTML 連結發現 URL。
- 先查直接來源:哪些頁面指向待查 URL。
- 若來源網址也有異常的多層結構,再往回追查爬蟲如何找到它們。
- 該篇歷史文章介紹的「crawl path report」可呈現最短發現路徑,但不是所有來源的完整清單。當時的報表由下往上閱讀,現行介面不一定相同。
追完每一跳,不只確認第一次轉址
若只想檢查一個網址,可使用重新導向檢查器。Neil Patel 的 2023 年文章介紹,Httpstatus.io 可檢查重新導向鏈與 HTTP 狀態碼,Small SEO Tools 的檢查器則可查看完整重新導向路徑。這些是該文記載的功能,目前的方案與介面是否相同,尚未確認。
檢查重點是一路追到終點。例如 A 回應 301 並導向 B,B 再以 301 導向 C,而 C 回應 404。若只檢查第一跳,就會漏掉終點失效的問題。Screaming Frog 在 2013 年的 2.20 版說明中,就以這類情境解釋為何需要持續追蹤重新導向。
- 保留起始 URL,依序記下各跳的網址與狀態碼。
- 核對最後到達的 URL,而非把第一個轉址目標當作終點。
- 若沒有成功到達頁面,標明無回應或錯誤狀態,不把「有轉址」視為檢查通過。
分清導向鏈、迴圈與發現路徑
A 導向 B、B 再導向 C,是重新導向鏈;若後續又導回鏈中已出現的網址,則形成迴圈。Screaming Frog 的 2022 年說明指出,當時的迴圈篩選器只列出導回先前網址的情況;若要查看或匯出完整導向鏈,則可另用報表。
整理查核結果時,應將「來源頁面」與「每一跳的導向」分開記錄。前者說明爬蟲從哪裡找到網址,後者說明請求被送往哪裡;兩份紀錄互補,不能互相取代。
主題的網路各方意見
找到重新導向鏈或迴圈後,應該怎麼處理?
如果有權限修改網站,可先確認正確的最終頁面,再將舊網址直接導向該頁,減少中間跳轉;同時更新仍指向舊網址的內部連結。若出現迴圈,則需移除造成循環的導向,並確認選定的終點不會再導回鏈中。長鏈可能延遲檢索及拖慢載入,但不代表每條鏈都已造成實際損失。
外部連結被工具標記為流失,是否代表原連結已被刪除?
不一定。Ahrefs 的說明指出,經過重新導向鏈的連結,可能因鏈中頁面無回應、導向被移除或變更,而被記為流失;最終網址改導別處也可能出現同樣結果。甚至來源網站改成直接連到原本的目的地,也可能被報為流失。因此應核對來源頁面的現有連結和各跳目的地,再判斷實際狀況。
參考資料
- Redirects: What They Are & How to Use Themwww.semrush.com · 2020-07-20T11:00:00Z — 討論:找到重新導向鏈或迴圈後,應該怎麼處理?
- At Least 66.5% of Links to Sites in the Last 9 Years Are Dead (Ahrefs Study on Link Rot)ahrefs.com · 2022-04-29T06:40:30+00:00 — 討論:外部連結被工具標記為流失,是否代表原連結已被刪除?
- Redirect Chain Guide: How To Identify & Fix Redirect Chainsneilpatel.com · 2023-10-09T19:00:00+00:00 — 本文論述的參考來源。
- Screaming Frog SEO Spider Update – Version 2.20www.screamingfrog.co.uk · 2013-07-15T11:06:00+00:00 — 討論:網站遷移後,如何核對舊網址是否導到預期位置?
- Screaming Frog SEO Spider Update – Version 18.0www.screamingfrog.co.uk · 2022-12-05T08:37:04+00:00 — 本文論述的參考來源。
- 10 Features In The SEO Spider You Should Really Knowwww.screamingfrog.co.uk · 2015-01-22T11:48:45+00:00 — 討論:網站遷移後,如何核對舊網址是否導到預期位置?

