如何追查 URL 的來源與重新導向鏈?

ProcrustesPR

追查單一 URL,要分開看兩件事:爬蟲從哪個頁面發現它,以及開啟後依序導向哪裡。前者可查入站連結與爬取路徑,後者則要檢查每一跳的網址、HTTP 狀態碼及最終目的地。這些方法能追查連結與導向,但不能據此認定網址的建立者或最早發布者;爬蟲的發現路徑不等於網址的歷史出處。

ProcrustesPRProcrustesPR一頁式網站可以做 SEO 嗎?

先找出哪個頁面連到這個 URL

Neil Patel 網站的 2023 年文章介紹,以 Screaming Frog 爬取網站後,選取要查的 URL,再查看下方的「inlinks」分頁,即可找出哪些頁面連到它。若問題是「網站哪裡還連著這個舊網址」,這比只看重新導向終點更切題。

但直接入站連結未必能說明爬蟲如何一路找到這個網址。Screaming Frog 的 2015 年文章指出,錯誤的相對連結可能產生多層網址,需要逐層往回追查;爬蟲也可能透過 canonical 元素,而非一般 HTML 連結發現 URL。

  • 先查直接來源:哪些頁面指向待查 URL。
  • 若來源網址也有異常的多層結構,再往回追查爬蟲如何找到它們。
  • 該篇歷史文章介紹的「crawl path report」可呈現最短發現路徑,但不是所有來源的完整清單。當時的報表由下往上閱讀,現行介面不一定相同。

追完每一跳,不只確認第一次轉址

若只想檢查一個網址,可使用重新導向檢查器。Neil Patel 的 2023 年文章介紹,Httpstatus.io 可檢查重新導向鏈與 HTTP 狀態碼,Small SEO Tools 的檢查器則可查看完整重新導向路徑。這些是該文記載的功能,目前的方案與介面是否相同,尚未確認。

檢查重點是一路追到終點。例如 A 回應 301 並導向 B,B 再以 301 導向 C,而 C 回應 404。若只檢查第一跳,就會漏掉終點失效的問題。Screaming Frog 在 2013 年的 2.20 版說明中,就以這類情境解釋為何需要持續追蹤重新導向。

  • 保留起始 URL,依序記下各跳的網址與狀態碼。
  • 核對最後到達的 URL,而非把第一個轉址目標當作終點。
  • 若沒有成功到達頁面,標明無回應或錯誤狀態,不把「有轉址」視為檢查通過。

分清導向鏈、迴圈與發現路徑

A 導向 B、B 再導向 C,是重新導向鏈;若後續又導回鏈中已出現的網址,則形成迴圈。Screaming Frog 的 2022 年說明指出,當時的迴圈篩選器只列出導回先前網址的情況;若要查看或匯出完整導向鏈,則可另用報表。

整理查核結果時,應將「來源頁面」與「每一跳的導向」分開記錄。前者說明爬蟲從哪裡找到網址,後者說明請求被送往哪裡;兩份紀錄互補,不能互相取代。

ProcrustesPRProcrustesPR行銷漏斗怎麼用?先補齊各階段頁面,再串起轉換路徑

主題的網路各方意見

找到重新導向鏈或迴圈後,應該怎麼處理?

如果有權限修改網站,可先確認正確的最終頁面,再將舊網址直接導向該頁,減少中間跳轉;同時更新仍指向舊網址的內部連結。若出現迴圈,則需移除造成循環的導向,並確認選定的終點不會再導回鏈中。長鏈可能延遲檢索及拖慢載入,但不代表每條鏈都已造成實際損失。

外部連結被工具標記為流失,是否代表原連結已被刪除?

不一定。Ahrefs 的說明指出,經過重新導向鏈的連結,可能因鏈中頁面無回應、導向被移除或變更,而被記為流失;最終網址改導別處也可能出現同樣結果。甚至來源網站改成直接連到原本的目的地,也可能被報為流失。因此應核對來源頁面的現有連結和各跳目的地,再判斷實際狀況。

網站遷移後,如何核對舊網址是否導到預期位置?

先整理舊網址清單,逐一追蹤重新導向,再將報表中的最終目的地與預期新網址比對。Screaming Frog 的舊版說明曾介紹,可在清單模式上傳舊網址,並設定工具持續追蹤重新導向,以查看後續每一跳和終點的狀態。這種方法適合用來檢查網站遷移結果,但現行介面的選項名稱與位置可能已經不同。

ProcrustesPRURL 有哪些類型,各有什麼用途?

參考資料

  1. Redirects: What They Are & How to Use Themwww.semrush.com · 2020-07-20T11:00:00Z — 討論:找到重新導向鏈或迴圈後,應該怎麼處理?
  2. At Least 66.5% of Links to Sites in the Last 9 Years Are Dead (Ahrefs Study on Link Rot)ahrefs.com · 2022-04-29T06:40:30+00:00 — 討論:外部連結被工具標記為流失,是否代表原連結已被刪除?
  3. Redirect Chain Guide: How To Identify & Fix Redirect Chainsneilpatel.com · 2023-10-09T19:00:00+00:00 — 本文論述的參考來源。
  4. Screaming Frog SEO Spider Update – Version 2.20www.screamingfrog.co.uk · 2013-07-15T11:06:00+00:00 — 討論:網站遷移後,如何核對舊網址是否導到預期位置?
  5. Screaming Frog SEO Spider Update – Version 18.0www.screamingfrog.co.uk · 2022-12-05T08:37:04+00:00 — 本文論述的參考來源。
  6. 10 Features In The SEO Spider You Should Really Knowwww.screamingfrog.co.uk · 2015-01-22T11:48:45+00:00 — 討論:網站遷移後,如何核對舊網址是否導到預期位置?

更多相關討論

一頁式網站可以做 SEO 嗎?行銷漏斗怎麼用?先補齊各階段頁面,再串起轉換路徑URL 有哪些類型,各有什麼用途?WordPress 何時應使用相對路徑或絕對路徑?www 子網域與相對連結各有什麼用途?如何建立 HTML 網站地圖?從內容分類到發布更新如何排查及修復 404 錯誤?先找出失效網址,再依原因處理如何改善站內內容與結構?先盤點頁面,再補內容與內部連結
ProcrustesPR
ProcrustesPR