如何讓搜尋引擎取得並索引 AJAX/JavaScript 網頁的核心內容?

ProcrustesPR

關鍵不是網站是否使用 AJAX,而是目標爬蟲能否發現網址、取得必要資源,並在處理頁面後讀到核心內容。Google 可以處理 JavaScript,但不能因此保證每個動態頁面都會被索引;其他爬蟲也未必具有相同能力。較穩健的做法是讓伺服器直接提供包含核心內容的 HTML,再用 JavaScript 增強互動。同時,要分開確認「內容可取得」與「頁面已索引」。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

點擊後才載入,不代表爬蟲會跟著操作

即使知道網站使用 jQuery 搭配 ASP.NET MVC,並透過點擊事件呼叫 AJAX,也無法單憑框架名稱判斷內容能否被收錄。Semrush 的 2021 年文章指出,搜尋引擎不會像使用者一樣點擊按鈕;若內部連結只在點擊時才產生,目的網址可能無法被發現。

  • 讓重要內容有可直接存取的頁面網址,並以內部連結協助爬蟲發現這些網址,不要只留下觸發程式的按鈕。
  • 避免僅靠網址中的雜湊片段區分內容頁,也不要把重要文字延後到互動時才載入。
  • 若內容放在 index.txt,再由 AJAX 載入,不能只憑檔案存在就認定其中的文字能作為 index.html 的內容被索引。仍須確認目標爬蟲處理頁面後是否取得該段文字。

先提供內容,再加入互動功能

伺服器端轉譯(SSR)會先產生含內容的 HTML,讓爬蟲讀取文字時不必那麼依賴 JavaScript。Neil Patel 的 2023 年文章與 Welly 的 2025 年文章都提出這個方向。Neil Patel 也提醒,SSR 會增加伺服器負載,效能仍取決於實作與資源管理,不能把 SSR 當成收錄保證。

例如,產品介紹與規格先出現在 HTML 中,再用 AJAX 更新篩選結果。這符合「先讓內容可用,再增強互動」的漸進增強思路,也能讓無法執行 JavaScript 的使用者讀到內容。

2010 年的一則社群回答曾建議另外建立非 AJAX 頁面,並將網址放入 Sitemap。這是當時的建議,不能視為現行 Google 規定。重點是讓爬蟲能直接取得內容,而非一律另做一套靜態網站。

把轉譯檢查與索引確認分開

Welly 的 2025 年文章將 Google 處理流程區分為檢索、轉譯與索引。這三個階段不能混為一談:瀏覽器顯示正常,不代表爬蟲取得相同內容;轉譯成功,也不等於已完成索引。

  1. 檢查 robots.txt 是否阻擋頁面或必要的 JavaScript、CSS 資源,避免轉譯後的頁面缺少內容。
  2. 依 Semrush 2021 年文章介紹的方法,使用 Search Console 的網址檢查工具測試轉譯結果,核對核心文字是否出現;工具介面以實際版本為準。
  3. 再查看索引狀態與已檢索頁面的內容。即時測試看到文字,只能確認該次測試能取得內容,不能據此判定頁面已被索引。
ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

AJAX/JavaScript 索引的網路各方意見

index.txt 經 AJAX 載入後,搜尋引擎索引的是文字檔還是原頁面?

不能只憑檔名或載入方式判定。若目標爬蟲能執行相關程式並在處理原頁面時讀到文字,才有機會把它納入對原頁面的索引;讀到文字也不保證收錄。不同搜尋引擎處理 JavaScript 的能力可能不同,應針對實際頁面與目標爬蟲測試。

一定要另做靜態頁面,再把網址放進 Sitemap 嗎?

不一定。2010 年有社群回答推薦把 AJAX 內容放在非 AJAX 頁面,並提及 Sitemap;這是當時的建議,不能當成現行平台規則。另一種做法是由伺服器先產生含核心內容的 HTML,再加入互動功能;是否另建頁面,仍要配合網站實作與目標爬蟲判斷。

沒有封鎖 JavaScript 和 CSS,為何 Google 仍可能看不到完整內容?

允許擷取必要資源只是條件之一。若伺服器無法承受資源的爬取請求,可能影響頁面轉譯;內容無法轉譯或處理逾時,也可能造成缺漏。可先檢查伺服器處理請求的能力,再用網址檢查工具核對轉譯結果與已檢索頁面的內容。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 本文論述的參考來源。
  2. JavaScript SEO 是什麼?9 技巧教你優化網頁welly.tw · 2025-01-22T08:30:20.845Z — 討論:index.txt 經 AJAX 載入後,搜尋引擎索引的是文字檔還是原頁面?;一定要另做靜態頁面,再把網址放進 Sitemap 嗎?
  3. JavaScript SEO: How to Optimize JS for Search Engineswww.semrush.com · 2021-01-05T15:01:00Z — 討論:index.txt 經 AJAX 載入後,搜尋引擎索引的是文字檔還是原頁面?;沒有封鎖 JavaScript 和 CSS,為何 Google 仍可能看不到完整內容?
  4. What is the best SEO method for a single page website on which all content is loaded with initial page loadwebmasters.stackexchange.com — 討論:一定要另做靜態頁面,再把網址放進 Sitemap 嗎?
  5. Search Engine Crawler call ajax to crawl ajax returned content?webmasters.stackexchange.com — 討論:一定要另做靜態頁面,再把網址放進 Sitemap 嗎?
  6. Does the Google spider render JavaScript?webmasters.stackexchange.com — 討論:沒有封鎖 JavaScript 和 CSS,為何 Google 仍可能看不到完整內容?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR