確認搜尋引擎與 AI 爬蟲能否存取網站,不能只看網站是否正常開啟。應逐項檢查 robots.txt、登入限制、安全設定與內容呈現方式,並另外檢查 noindex 等索引限制。針對 Google,可使用網址檢查工具測試轉譯結果;針對 AI 爬蟲,則須核對個別爬蟲適用的規則與安全服務設定。允許爬取不代表一定會被索引或出現在 AI 回答中。
先測重要頁面,不只確認首頁能開啟
Google 的課程結構化資料文件建議,部署幾個頁面後,使用網址檢查工具測試 Google 轉譯網頁的情形,並檢查 robots.txt、noindex 或登入要求是否造成爬取或索引障礙。這是該文件的部署檢查流程,不代表通過測試就一定獲得搜尋曝光。
- 挑選希望被找到的重要內容頁,確認 Google 實際轉譯出的內容。
- 檢查是否誤留 noindex,並確認公開內容不需要登入即可存取。
- 修正後可要求重新檢索,但提交要求不代表已完成索引。文件提醒,Google 找到並檢索新頁面可能需要幾天。
robots.txt 要按爬蟲與路徑逐項核對
檢查重點不是「有沒有 robots.txt」,而是希望允許的爬蟲是否被禁止讀取重要頁面。Search Engine Journal 在 2026 年 9 月的訪談整理中,也將 robots.txt 列為應優先檢查的基本設定。
同一網站可以對不同爬蟲給出不同指示。例如,依該媒體於 2026 年 9 月 22 日取得的 Amazon robots.txt,三個被明確列出名稱的 Meta 爬蟲被指示不得讀取任何頁面。另外兩個沒有專屬規則區塊的 Meta 爬蟲則適用一般規則:商品頁仍開放,購物車、登入與帳戶路徑不開放。這只是當日案例,不能當成 Amazon 現在的設定,也不能據此推論所有 AI 爬蟲都適用相同規則。
檢查安全服務,但不要為曝光移除私密內容的保護
robots.txt 之外,也要檢查伺服器、應用程式及安全服務。在上述訪談中,Darren Shaw 提到,他曾遇過一個 Shopify 網站,其 Cloudflare 設定阻擋了 AI 爬蟲。因此,他建議先確認網站是否使用 Cloudflare,再檢視相關設定。這是個案經驗,不表示所有使用 Cloudflare 的網站都會阻擋 AI 爬蟲。
只修正公開內容的意外阻擋。Russ Jeffery 提醒,robots.txt 只是供願意遵守規則的爬蟲參考的指示,不能強制限制存取;真正私密的內容仍應在伺服器或應用程式層限制存取。
確認爬蟲取得的是內容,而不只是頁面框架
排除阻擋後,還要檢查重要文字是否能在不依賴用戶端 JavaScript 的情況下呈現。該訪談整理建議優先提供可存取的伺服器端 HTML,並檢查網站地圖與內容呈現方式。
不必將製作 Markdown 版本視為必要的前置工作。Jeffery 在那次訪談中表示,他尚未發現依賴頁面 Markdown 版本的 AI 搜尋引擎。這是當時的觀察,而非所有平台的永久規則;應優先確保重要頁面能被取得,且內容確實可讀。
搜尋引擎與 AI 爬蟲存取網站的網路各方意見
重要頁面回傳錯誤時,應先檢查什麼?
先排查重要頁面是否回傳 404 或伺服器錯誤,因為這些錯誤可能使爬蟲無法取得內容。修正後也要檢查內容呈現方式:Google 雖能處理 JavaScript,大量依賴用戶端算繪仍可能延遲或限制爬取;可行時,讓關鍵內容出現在初始 HTML。
網站地圖應該列入哪些頁面?
AI 爬蟲經常造訪,就表示頁面有帶來訪客嗎?
不一定,爬蟲經常造訪不代表頁面帶來了人類訪客。決定下一步前,可先確認主要 AI 爬蟲能否存取網站,再比較哪些頁面經常被爬取、哪些頁面帶來人類轉介流量。對於經常被爬取卻沒有帶來人類訪客的頁面,可能需要採取不同做法,不能與同時吸引爬蟲及符合目標的訪客的頁面一概而論。
參考資料
- 使用課程清單的結構定義 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:網站地圖應該列入哪些頁面?
- Amazon Blocked Meta’s Muse, And Robots.txt Had Nothing To Saywww.searchenginejournal.com · 2026-09-29T14:30:54+00:00 — 本文論述的參考來源。
- How To Build Local Pages AI Systems Can Find And Trustwww.searchenginejournal.com · 2026-09-21T12:00:25+00:00 — 本文論述的參考來源。
- How to Perform a Complete SEO Audit in 20 Stepswww.semrush.com · 2020-06-01T11:00:00Z — 討論:重要頁面回傳錯誤時,應先檢查什麼?;網站地圖應該列入哪些頁面?
- New AI Search & SEO KPIs: 4 Signals That Guide Real Decisions [Watch Now]www.searchenginejournal.com · 2026-09-11T07:45:21+00:00 — 討論:AI 爬蟲經常造訪,就表示頁面有帶來訪客嗎?
