如何檢查網站檢索障礙:robots.txt、.htaccess 與 WordPress 可見性設定

ProcrustesPR

檢查網站的搜尋引擎存取與檢索障礙,應先確認 Googlebot 能否存取目標網址,再核對 robots.txt、頁面的 noindex 設定,以及伺服器端的存取限制與重新導向。使用 WordPress 時,也要檢查搜尋引擎可見性設定。禁止檢索、禁止索引與限制訪客存取是不同的事,不能只因 robots.txt 沒有封鎖,就認定網站一定能被收錄。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先確認網址能否存取,再查索引限制

Google 官方建議先使用網址檢查工具,確認 Googlebot 能否存取網頁,接著測試 robots.txt,並檢查 HTML 的 meta 標記是否包含 noindex。這能把「抓不到內容」與「不允許建立索引」分開處理。

  • 希望被搜尋引擎收錄的公開頁面:確認沒有誤設登入要求或 noindex。
  • 允許檢索、但不希望出現在搜尋結果的頁面:使用 noindex。
  • 不應讓一般訪客或爬蟲取得的內容:採用密碼保護等存取限制。

檢查 robots.txt 是否誤擋,別用它保護機密內容

檢查時應對照目標網址,確認規則是否意外封鎖原本要公開的頁面或目錄。Google 官方明確區分檢索與索引:robots.txt 用來禁止檢索,卻不能保證網址不出現在搜尋結果。若目的是禁止索引,不能把封鎖檢索當成替代方案。

例如,將敏感文件集中到一個目錄後禁止檢索,仍不等於替文件加上存取保護。也不要為求保險堆疊多種規則;Google 官方提醒,檢索與索引規則可能互相抵銷,必須核對各項設定的目的。

.htaccess 應查存取限制與重新導向

除了 robots.txt,還要檢查伺服器設定。公開討論建議檢查 .htaccess 或其他伺服器設定中與目標網址相關的重新導向。這是排查線索,不代表每次未收錄都由重新導向造成。

awoo 的 2018 年文章以 Apache 為例,說明可透過 .htaccess 為目錄設定密碼保護。若原本應公開的內容受到這類限制,就需要確認網站是否確實需要這項限制;若是敏感資料,則不應為了讓搜尋引擎抓取而直接撤除保護。

檢查 WordPress 閱讀設定,但別把選項當保證

若希望 WordPress 網站被搜尋引擎收錄,可到「設定 → 閱讀」,確認「勸阻搜尋引擎索引這個網站」未被勾選。這項建議來自 WordPress 論壇的社群回覆,並非針對特定版本的 WordPress 官方文件。

Neil Patel 網站的 2018 年文章另提醒,搜尋引擎可見性選項只是向搜尋引擎提出請求,是否遵守取決於搜尋引擎。因此,這個選項不能取代密碼保護,也不能證明既有搜尋結果已被移除。確認設定後,仍應回到目標網址,核對實際存取情況與索引限制。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

網站搜尋引擎存取與檢索障礙的網路各方意見

如何測試 robots.txt 是否誤擋了重要網址?

先以原本希望公開的目標網址測試,再視需要模擬整站爬取,確認規則影響的範圍。Screaming Frog 的 2019 年文章介紹,可匯入現有 robots.txt 或自訂規則,測試單一網址是否被封鎖,也可用自訂規則進行爬取。修改前先測試,有助避免錯誤規則影響大量頁面。

能在 robots.txt 分別設定 Google 的行動與電腦檢索器嗎?

不能透過 robots.txt 為這兩種 Googlebot 分別設定規則。Google 說明,雖然可從請求中的 user-agent 標頭辨別行動與電腦檢索器,但兩者在 robots.txt 中使用相同的使用者代理程式權杖,也就是套用規則時使用的識別名稱。因此,針對該權杖設定的規則會同時影響兩者,排查時不能只考慮其中一種。

這個網站的 .htaccess 究竟設了什麼?

目前無法判斷:提供的材料沒有網站實際的 .htaccess 內容。公開討論建議檢查其中或其他伺服器設定內與目標網址相關的重新導向,可把它當成排查線索,但不能據此認定重新導向就是未被收錄的原因。仍需對照實際設定與受影響的網址確認。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 軟體應用程式 (SoftwareApplication) 結構定義 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  2. Googlebot 簡介 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:能在 robots.txt 分別設定 Google 的行動與電腦檢索器嗎?
  3. 網頁程式開發人員的搜尋引擎最佳化 (SEO) 指南 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  4. Want More Traffic? Deindex Your Pages. Here’s Why.neilpatel.com · 2018-03-06T19:00:42+00:00 — 本文論述的參考來源。
  5. 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 本文論述的參考來源。
  6. Reviving Retired Search Console Reportswww.screamingfrog.co.uk · 2019-04-08T13:18:41+00:00 — 討論:如何測試 robots.txt 是否誤擋了重要網址?
  7. High number of excluded (not indexed) pages in Google Search Consolewww.warriorforum.com — 討論:這個網站的 .htaccess 究竟設了什麼?
  8. Google search by low competition keywordswww.warriorforum.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR