如何控制並檢查搜尋引擎爬取與索引?

ProcrustesPR

控制搜尋引擎的爬取與索引,先分清楚「能否爬取」與「是否收錄」:robots.txt 用於限制爬取,noindex 用於排除索引;需要保密的內容則應設存取限制。完成設定後,要用網站爬蟲找設定錯誤,用抓取統計與伺服器日誌觀察實際存取,再用網址檢查工具確認索引情況及 Google 選擇的規範網址。不能只因設定已儲存,就認定工作完成。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

阻擋爬取,不等於禁止出現在搜尋結果

robots.txt 可透過 User-Agent 指定爬蟲、Disallow 指定排除路徑,但並非所有爬蟲都會遵循。tenten 的 2023 年指南也提醒:即使 Google 無法存取頁面,只要其他地方有連結指向它,該網址仍可能被編入索引。

  • 希望限制爬取:檢查 robots.txt 指定的爬蟲與排除路徑。
  • 希望排除索引:檢查頁面的 robots 中繼標籤,或 HTTP 回應中的 X-Robots-Tag 是否使用 noindex,而不是只封鎖路徑。

兩者處理的是不同問題,不應把「爬蟲進不來」當成「網址已從搜尋結果消失」的證明。

公開頁面與受限內容,要用不同控制方式

Semrush 以購買或填表後的感謝頁為例,說明不希望出現在搜尋結果的頁面可使用 noindex。對於希望被找到的頁面,則要檢查是否誤加了這項設定。

會員限定內容、內部網路或開發中的網站,不只是要避免出現在搜尋結果中,還需要限制存取。tenten 指南列出的做法包括登入限制、HTTP 認證與 IP 白名單,讓只有指定使用者才能存取。不被搜尋到與未經授權就無法讀取,是兩種不同目標。

多版本頁面,要核對 Google 選了哪個網址

同一內容有多個版本時,canonical 標籤只是 Google 選擇規範網址的訊號之一,無法單獨決定結果。依 tenten 指南,Google 還會綜合考量重複頁面、內部連結、重新導向及網站地圖中的網址等訊號。

因此,指定主版本後,還要透過 Search Console 的網址檢查工具,核對 Google 選擇的規範網址是否符合預期。

設定檢查、抓取紀錄與索引結果分開看

  • 找設定問題:Welly 的 2022 年工具介紹指出,Screaming Frog 可模擬爬取,找出失效連結,以及錯誤的 noindex、canonical 設定。
  • 看實際抓取:tenten 指南建議以 Search Console 抓取統計觀察 Google 的抓取活動;要分析其他爬蟲的存取情況,則需查看伺服器日誌。
  • 核對索引:再檢查目標網址的索引情況與規範網址。模擬爬取報告與搜尋引擎的索引結果,回答的不是同一個問題。
ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

搜尋引擎爬取與索引的網路各方意見

一定要提交網站地圖,才能讓網頁被收錄或提升排名嗎?

不一定。2017 年的 SEO 教學指出,網站地圖可協助搜尋引擎爬取資料,但不會直接改善排名;若網站本來就能順利被爬取,也可能不需提交網站地圖。它適合作為協助搜尋引擎發現資料的工具,而不是排名或收錄的保證。

抓取量突然下降,是否代表網站出了問題?

不一定,但值得進一步檢查。2017 年的教學指出,被抓取的檔案數量減少,可能與網站更新較少、搜尋引擎對網站重要性的判斷,或網站無法順利存取有關。這些只是可能原因,不能只憑抓取量就下結論。可先對照抓取統計與網站變動,再檢查是否有存取障礙。

所有頁面都先導向同意頁,可能影響索引嗎?

可能。一名站長描述,訪客同意前,每個網址都會導向同一個警告頁;當時網站管理員工具顯示各頁索引了相同內容。這是單一案例,不能推論所有同意機制都會如此;若網站採用類似導向,應檢查搜尋引擎實際取得的是同意頁還是原頁內容。

A/B 測試的不同網址該如何處理?

一則討論建議,在各測試版本加入指向原始主版本的 canonical 標籤;也有人提出在非主版本使用 noindex,但該回答者認為這較不理想。這些是針對 A/B 測試的建議,不代表標籤必然決定 Google 的選擇;多版本仍可能受到其他規範化訊號影響。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Robots.txt, 決定 SEO 的 25 項標準與通訊協定系列 VIIithelp.ithome.com.tw — 本文論述的參考來源。
  2. 如何做好網站 SEO優化?從SEO健診清單開始(2018版)www.yesharris.com · 2017-11-27T21:06:56+08:00 — 討論:一定要提交網站地圖,才能讓網頁被收錄或提升排名嗎?;抓取量突然下降,是否代表網站出了問題?
  3. 技術 SEO 初學者指南 (by Ahrefs)tenten.co · 2023-07-30T15:00:24.000Z — 討論:A/B 測試的不同網址該如何處理?
  4. Screaming Frog是什麼?5分鐘教會你檢測網站SEO!welly.tw · 2022-04-25T03:52:32.809Z — 本文論述的參考來源。
  5. Meta Tags: What They Are & How to Use Them for SEOwww.semrush.com · 2020-12-07T14:31:00Z — 本文論述的參考來源。
  6. Should I disallow robots on A/B test pages?webmasters.stackexchange.com — 討論:A/B 測試的不同網址該如何處理?
  7. Adult website crawlability issuewebmasters.stackexchange.com — 討論:所有頁面都先導向同意頁,可能影響索引嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR