如何改善網站的爬取與頁面呈現?先分清發現、存取與渲染問題

ProcrustesPR

改善網站爬取與頁面呈現,應先確認問題卡在哪一環:搜尋引擎是否能透過連結發現頁面、爬蟲是否能存取頁面,以及重要內容是否必須執行 JavaScript 才會出現。依問題所在,補足內部連結與網站地圖、排查 robots.txt 封鎖,或比較原始與渲染後的 HTML。若是腳本阻擋畫面顯示,再調整腳本的載入方式。不能只因瀏覽器看得到內容,就認定爬取與呈現都沒有問題。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先讓重要頁面找得到,也能被存取

搜尋引擎會沿著已知頁面的連結發現新頁面,因此應先檢查網站階層與內部連結。重要頁面應盡量能從首頁點擊幾次就抵達,而不是只有知道完整網址的人才能開啟。

  • 補上孤立頁面的入口:若頁面沒有任何內部連結指向它,可從相關且已有入口的頁面加入連結。例如發布新文章後,在文章列表加入該文章的連結。
  • 提供 XML 網站地圖:在網站地圖中列出重要頁面,並將網站地圖提交至 Google Search Console,可協助 Google 發現網址。網站頁面很多或彼此連結不足時,尤其值得檢查網站地圖是否完整。
  • 檢查 robots.txt:確認沒有誤擋重要頁面,也沒有封鎖呈現內容所需的 JavaScript 等資源。

比較原始與渲染後的 HTML,確認內容如何變動

如果內容依賴 JavaScript,只檢查原始碼或只看腳本執行後的畫面,都可能漏掉兩者的差異。應對照伺服器最初回傳的 HTML 與執行腳本後的 HTML,確認文字、內部連結與重要標記如何變動。

Screaming Frog 在 2021 年的 SEO Spider 16.0 說明中,介紹了同時爬取原始與渲染後 HTML 的功能。啟用 JavaScript 渲染模式及相關儲存設定後,可辨識僅在渲染後出現的文字與連結,並比較標題、描述、meta robots 與 canonical 標記。這些是該版本記載的診斷功能;目前介面中的設定位置不一定相同。

例如,分類頁的商品連結若由 JavaScript 產生,就要確認它們能否穩定載入,是否會延遲出現,或必須等使用者操作後才顯示。重點不只是「有沒有執行腳本」,而是執行後是否真的出現預期的內容與連結。

依實際問題調整腳本載入與爬取方式

若頁面必須等待 JavaScript 載入完成才能顯示,可考慮非同步或延後載入,並精簡不必要的程式碼。對關鍵內容,也可評估採用伺服器端渲染,讓內容包含在初始 HTML 中。這些做法應用來解決實際問題,不能視為保證收錄的手段。

至於診斷時的爬取方式,大型網站可先抽查不同區域的代表性頁面類型,不必一開始就對全站啟用 JavaScript 渲染。Screaming Frog 的 2026 年文章指出,JavaScript 爬取需要擷取資源,並在無頭瀏覽器中建立 DOM,因此速度較慢,也耗用更多資源。若網站並未大量依靠腳本修改頁面,就不必在爬取時一律啟用 JavaScript 渲染。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

網站爬取與頁面呈現的網路各方意見

渲染後移除 noindex,頁面就能被 Google 收錄嗎?

不能保證收錄,還要檢查原始 HTML 是否含有 noindex。Screaming Frog 的 2021 年說明指出,若原始 HTML 已有 noindex,Google 會先看到該標記並跳過渲染。因此,即使 JavaScript 後來移除了 noindex,Google 也不會看到這項變更。遇到這種情況,應先檢查原始回應中的標記,而不是只看渲染後的 HTML。

AI 爬蟲看不到頁面內容時,應檢查什麼?

如果網站大量依賴 JavaScript,先確認關鍵內容是否存在於初始 HTML。Semrush 指出,許多 AI 爬蟲不執行 JavaScript,因此可能看不到僅在渲染後出現的內容。也應檢查 robots.txt 是否意外封鎖目標爬蟲或重要頁面。爬蟲能否存取頁面,以及能否看見其中的內容,是兩個不同的檢查點。

網站地圖除了提交,還能用來檢查什麼?

可把 XML 網站地圖與網站爬取結果一起分析,找出未列入網站地圖的網址、孤立頁面,以及地圖中不可索引的網址。Screaming Frog 在 2018 年介紹的 SEO Spider 10.0 已提供這類整合分析;發現差異後,仍需逐一確認頁面是否重要、是否應被索引,再決定如何調整。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Screaming Frog SEO Spider Update – Version 16.0www.screamingfrog.co.uk · 2021-09-22T07:45:08+00:00 — 討論:渲染後移除 noindex,頁面就能被 Google 收錄嗎?
  2. What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 討論:AI 爬蟲看不到頁面內容時,應檢查什麼?
  3. Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 本文論述的參考來源。
  4. Screaming Frog SEO Spider Update – Version 10.0www.screamingfrog.co.uk · 2018-09-19T09:11:39+00:00 — 討論:網站地圖除了提交,還能用來檢查什麼?
  5. Green SEO: Leveraging Screaming Frog for a Sustainable Webwww.screamingfrog.co.uk · 2026-04-16T10:52:18+00:00 — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR