改善網站爬取與頁面呈現,應先確認問題卡在哪一環:搜尋引擎是否能透過連結發現頁面、爬蟲是否能存取頁面,以及重要內容是否必須執行 JavaScript 才會出現。依問題所在,補足內部連結與網站地圖、排查 robots.txt 封鎖,或比較原始與渲染後的 HTML。若是腳本阻擋畫面顯示,再調整腳本的載入方式。不能只因瀏覽器看得到內容,就認定爬取與呈現都沒有問題。
先讓重要頁面找得到,也能被存取
搜尋引擎會沿著已知頁面的連結發現新頁面,因此應先檢查網站階層與內部連結。重要頁面應盡量能從首頁點擊幾次就抵達,而不是只有知道完整網址的人才能開啟。
- 補上孤立頁面的入口:若頁面沒有任何內部連結指向它,可從相關且已有入口的頁面加入連結。例如發布新文章後,在文章列表加入該文章的連結。
- 提供 XML 網站地圖:在網站地圖中列出重要頁面,並將網站地圖提交至 Google Search Console,可協助 Google 發現網址。網站頁面很多或彼此連結不足時,尤其值得檢查網站地圖是否完整。
- 檢查 robots.txt:確認沒有誤擋重要頁面,也沒有封鎖呈現內容所需的 JavaScript 等資源。
比較原始與渲染後的 HTML,確認內容如何變動
如果內容依賴 JavaScript,只檢查原始碼或只看腳本執行後的畫面,都可能漏掉兩者的差異。應對照伺服器最初回傳的 HTML 與執行腳本後的 HTML,確認文字、內部連結與重要標記如何變動。
Screaming Frog 在 2021 年的 SEO Spider 16.0 說明中,介紹了同時爬取原始與渲染後 HTML 的功能。啟用 JavaScript 渲染模式及相關儲存設定後,可辨識僅在渲染後出現的文字與連結,並比較標題、描述、meta robots 與 canonical 標記。這些是該版本記載的診斷功能;目前介面中的設定位置不一定相同。
例如,分類頁的商品連結若由 JavaScript 產生,就要確認它們能否穩定載入,是否會延遲出現,或必須等使用者操作後才顯示。重點不只是「有沒有執行腳本」,而是執行後是否真的出現預期的內容與連結。
依實際問題調整腳本載入與爬取方式
若頁面必須等待 JavaScript 載入完成才能顯示,可考慮非同步或延後載入,並精簡不必要的程式碼。對關鍵內容,也可評估採用伺服器端渲染,讓內容包含在初始 HTML 中。這些做法應用來解決實際問題,不能視為保證收錄的手段。
至於診斷時的爬取方式,大型網站可先抽查不同區域的代表性頁面類型,不必一開始就對全站啟用 JavaScript 渲染。Screaming Frog 的 2026 年文章指出,JavaScript 爬取需要擷取資源,並在無頭瀏覽器中建立 DOM,因此速度較慢,也耗用更多資源。若網站並未大量依靠腳本修改頁面,就不必在爬取時一律啟用 JavaScript 渲染。
網站爬取與頁面呈現的網路各方意見
渲染後移除 noindex,頁面就能被 Google 收錄嗎?
不能保證收錄,還要檢查原始 HTML 是否含有 noindex。Screaming Frog 的 2021 年說明指出,若原始 HTML 已有 noindex,Google 會先看到該標記並跳過渲染。因此,即使 JavaScript 後來移除了 noindex,Google 也不會看到這項變更。遇到這種情況,應先檢查原始回應中的標記,而不是只看渲染後的 HTML。
AI 爬蟲看不到頁面內容時,應檢查什麼?
如果網站大量依賴 JavaScript,先確認關鍵內容是否存在於初始 HTML。Semrush 指出,許多 AI 爬蟲不執行 JavaScript,因此可能看不到僅在渲染後出現的內容。也應檢查 robots.txt 是否意外封鎖目標爬蟲或重要頁面。爬蟲能否存取頁面,以及能否看見其中的內容,是兩個不同的檢查點。
網站地圖除了提交,還能用來檢查什麼?
可把 XML 網站地圖與網站爬取結果一起分析,找出未列入網站地圖的網址、孤立頁面,以及地圖中不可索引的網址。Screaming Frog 在 2018 年介紹的 SEO Spider 10.0 已提供這類整合分析;發現差異後,仍需逐一確認頁面是否重要、是否應被索引,再決定如何調整。
參考資料
- Screaming Frog SEO Spider Update – Version 16.0www.screamingfrog.co.uk · 2021-09-22T07:45:08+00:00 — 討論:渲染後移除 noindex,頁面就能被 Google 收錄嗎?
- What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 討論:AI 爬蟲看不到頁面內容時,應檢查什麼?
- Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 本文論述的參考來源。
- Screaming Frog SEO Spider Update – Version 10.0www.screamingfrog.co.uk · 2018-09-19T09:11:39+00:00 — 討論:網站地圖除了提交,還能用來檢查什麼?
- Green SEO: Leveraging Screaming Frog for a Sustainable Webwww.screamingfrog.co.uk · 2026-04-16T10:52:18+00:00 — 本文論述的參考來源。



