robots.txt 應阻擋 JavaScript,還是允許爬取?

ProcrustesPR

不應只因檔案是 JavaScript,就用 robots.txt 一律阻擋。呈現頁面主要內容與連結所需的腳本,應允許目標搜尋爬蟲抓取。但這不代表將整站所有資源對所有爬蟲開放就比較好。在簡報中說明設定時,應先交代資源用途:哪些腳本產生需要被搜尋的內容,哪些資源另有抓取限制需求。規則應依這些需求決定,而不是只在「全擋」與「全開」之間二選一。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先確認重要內容是否依賴腳本

判斷重點是頁面對腳本的依賴程度。Semrush 指出,若重要內容或內部連結必須在 JavaScript 執行後才出現,封鎖算繪所需的資源,可能讓 Google 看不到這些資訊。單頁應用程式尤其需要注意,因為導覽與內容載入可能都在瀏覽器端完成。

  • 內容生成:若商品描述由腳本載入,應確認相關 JavaScript 沒有被禁止抓取。
  • 導覽連結:若分類或其他重要頁面的連結由腳本建立,也要確認這些連結在算繪後能正常出現。
  • 其他用途:不能僅憑副檔名判斷是否需要開放;應先確認檔案是否用於呈現重要內容。

各網站的需求不同,應依資源的實際用途判斷。上述建議是允許抓取必要資源,不代表任何網站都應開放所有資源。

允許抓取,不代表內容一定會被索引

Welly 在 2025 年的文章將 Google 處理 JavaScript 網頁的流程整理為抓取、轉譯(算繪)與建立索引。允許抓取檔案,只是讓後續處理有機會進行。若核心內容依賴腳本,Google 仍須執行腳本並算繪頁面,才能取得完整內容。內容是否被索引,也可能受到頁面設定與搜尋引擎資源分配影響。

因此,不能把「已解除 JavaScript 封鎖」寫成「保證收錄」。同樣地,不能只靠 robots.txt 的抓取限制,將頁面排除在搜尋結果之外。Semrush 提醒,即使禁止抓取,網址仍可能因其他頁面的連結而出現在搜尋結果。若要控制頁面是否被收錄,應另行檢查 noindex 等索引設定。

檢查規則時,要對照頁面實際需求

檢查可以從一個重要頁面開始:先看初始 HTML 是否已有標題、主要描述與連結,再確認哪些資訊需要執行腳本才會出現,最後檢查 robots.txt 是否擋住相關資源。不要只確認頁面網址可抓取,卻忽略它所依賴的檔案。

若關鍵內容不在初始 HTML,除了允許抓取必要腳本,也可評估讓重要內容更早出現。Neil Patel 建議考慮伺服器端算繪,awoo 的 2025 年文章則建議將標題、主要描述等資訊寫入 HTML 原始碼。這些做法影響的是內容何時可被讀取;robots.txt 則控制資源能否被抓取。兩者處理的問題不同,不能互相取代。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 與 JavaScript 的網路各方意見

使用爬站工具檢查算繪結果時,要注意什麼?

使用 Screaming Frog SEO Spider 的算繪模式時,除了檢查 robots.txt 是否擋住 JavaScript 和 CSS,也要確認工具已設定為抓取這些資源及外部資源。否則,測試畫面可能不完整。Screaming Frog 的 2016 年說明也提醒,算繪時執行的腳本可能影響分析工具,可考慮排除不應執行的腳本。

允許 AI 爬蟲抓取腳本,就能讓它看見動態內容嗎?

不一定。Semrush 指出,部分 AI 爬蟲不執行 JavaScript,而是依賴初始 HTML;只在算繪後出現的內容可能看不到。因此,即使允許必要腳本,仍應檢查關鍵資訊是否存在於初始回應。若目標是出現在 ChatGPT 搜尋體驗中,該文另建議確認 OAI-SearchBot 沒有被封鎖。

重要內容可以等使用者點擊或捲動後才載入嗎?

若希望搜尋引擎看見重要內容,較穩妥的做法是避免讓內容只能在使用者點擊或捲動後才載入,並確認內容能正常載入。Semrush 提醒,不宜延遲載入算繪後才出現的重要內容或內部連結,也不宜讓它們只有在使用者互動後才出現。這是檢查內容是否可見的建議,不代表所有爬蟲處理互動的方式都相同。

能否靠封鎖產生連結的腳本,讓搜尋引擎不追蹤連結?

不宜把這當成可靠做法。公開討論中的回答者曾推測,以 JavaScript 建立連結,再用 robots.txt 阻擋該腳本,理論上可能使搜尋引擎無法追蹤連結;但他明言尚未測試,也認為這可能屬於黑帽或灰帽 SEO。這只是未經測試的推論,不能視為有效的現行規則。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How to handle hundred of external links in a site?webmasters.stackexchange.com — 討論:能否靠封鎖產生連結的腳本,讓搜尋引擎不追蹤連結?
  2. What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 討論:允許 AI 爬蟲抓取腳本,就能讓它看見動態內容嗎?;重要內容可以等使用者點擊或捲動後才載入嗎?
  3. Screaming Frog SEO Spider Update – Version 6.0www.screamingfrog.co.uk · 2016-07-21T08:57:40+00:00 — 討論:使用爬站工具檢查算繪結果時,要注意什麼?
  4. JavaScript SEO 是什麼?9 技巧教你優化網頁welly.tw · 2025-01-22T08:30:20.845Z — 本文論述的參考來源。
  5. Definitive Javascript SEO Guideneilpatel.com · 2023-09-14T19:00:00+00:00 — 本文論述的參考來源。
  6. JavaScript SEO 完整指南,打造對搜尋引擎友善的網站www.awoo.ai · 2025-06-13T09:26:47+00:00 — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR