控制搜尋引擎的爬取與索引,先分清楚「能否爬取」與「是否收錄」:robots.txt 用於限制爬取,noindex 用於排除索引;需要保密的內容則應設存取限制。完成設定後,要用網站爬蟲找設定錯誤,用抓取統計與伺服器日誌觀察實際存取,再用網址檢查工具確認索引情況及 Google 選擇的規範網址。不能只因設定已儲存,就認定工作完成。
阻擋爬取,不等於禁止出現在搜尋結果
robots.txt 可透過 User-Agent 指定爬蟲、Disallow 指定排除路徑,但並非所有爬蟲都會遵循。tenten 的 2023 年指南也提醒:即使 Google 無法存取頁面,只要其他地方有連結指向它,該網址仍可能被編入索引。
- 希望限制爬取:檢查 robots.txt 指定的爬蟲與排除路徑。
- 希望排除索引:檢查頁面的 robots 中繼標籤,或 HTTP 回應中的 X-Robots-Tag 是否使用 noindex,而不是只封鎖路徑。
兩者處理的是不同問題,不應把「爬蟲進不來」當成「網址已從搜尋結果消失」的證明。
公開頁面與受限內容,要用不同控制方式
Semrush 以購買或填表後的感謝頁為例,說明不希望出現在搜尋結果的頁面可使用 noindex。對於希望被找到的頁面,則要檢查是否誤加了這項設定。
會員限定內容、內部網路或開發中的網站,不只是要避免出現在搜尋結果中,還需要限制存取。tenten 指南列出的做法包括登入限制、HTTP 認證與 IP 白名單,讓只有指定使用者才能存取。不被搜尋到與未經授權就無法讀取,是兩種不同目標。
多版本頁面,要核對 Google 選了哪個網址
同一內容有多個版本時,canonical 標籤只是 Google 選擇規範網址的訊號之一,無法單獨決定結果。依 tenten 指南,Google 還會綜合考量重複頁面、內部連結、重新導向及網站地圖中的網址等訊號。
因此,指定主版本後,還要透過 Search Console 的網址檢查工具,核對 Google 選擇的規範網址是否符合預期。
設定檢查、抓取紀錄與索引結果分開看
- 找設定問題:Welly 的 2022 年工具介紹指出,Screaming Frog 可模擬爬取,找出失效連結,以及錯誤的 noindex、canonical 設定。
- 看實際抓取:tenten 指南建議以 Search Console 抓取統計觀察 Google 的抓取活動;要分析其他爬蟲的存取情況,則需查看伺服器日誌。
- 核對索引:再檢查目標網址的索引情況與規範網址。模擬爬取報告與搜尋引擎的索引結果,回答的不是同一個問題。
搜尋引擎爬取與索引的網路各方意見
一定要提交網站地圖,才能讓網頁被收錄或提升排名嗎?
不一定。2017 年的 SEO 教學指出,網站地圖可協助搜尋引擎爬取資料,但不會直接改善排名;若網站本來就能順利被爬取,也可能不需提交網站地圖。它適合作為協助搜尋引擎發現資料的工具,而不是排名或收錄的保證。
抓取量突然下降,是否代表網站出了問題?
不一定,但值得進一步檢查。2017 年的教學指出,被抓取的檔案數量減少,可能與網站更新較少、搜尋引擎對網站重要性的判斷,或網站無法順利存取有關。這些只是可能原因,不能只憑抓取量就下結論。可先對照抓取統計與網站變動,再檢查是否有存取障礙。
所有頁面都先導向同意頁,可能影響索引嗎?
可能。一名站長描述,訪客同意前,每個網址都會導向同一個警告頁;當時網站管理員工具顯示各頁索引了相同內容。這是單一案例,不能推論所有同意機制都會如此;若網站採用類似導向,應檢查搜尋引擎實際取得的是同意頁還是原頁內容。
參考資料
- Robots.txt, 決定 SEO 的 25 項標準與通訊協定系列 VIIithelp.ithome.com.tw — 本文論述的參考來源。
- 如何做好網站 SEO優化?從SEO健診清單開始(2018版)www.yesharris.com · 2017-11-27T21:06:56+08:00 — 討論:一定要提交網站地圖,才能讓網頁被收錄或提升排名嗎?;抓取量突然下降,是否代表網站出了問題?
- 技術 SEO 初學者指南 (by Ahrefs)tenten.co · 2023-07-30T15:00:24.000Z — 討論:A/B 測試的不同網址該如何處理?
- Screaming Frog是什麼?5分鐘教會你檢測網站SEO!welly.tw · 2022-04-25T03:52:32.809Z — 本文論述的參考來源。
- Meta Tags: What They Are & How to Use Them for SEOwww.semrush.com · 2020-12-07T14:31:00Z — 本文論述的參考來源。
- Should I disallow robots on A/B test pages?webmasters.stackexchange.com — 討論:A/B 測試的不同網址該如何處理?
- Adult website crawlability issuewebmasters.stackexchange.com — 討論:所有頁面都先導向同意頁,可能影響索引嗎?



