如何避免網站設定意外阻止內容被索引?

ProcrustesPR

要避免網站設定意外阻止內容被索引,應先確認重要頁面可供爬取,再核對 robots.txt、主題與外掛的搜尋相關設定,看看是否限制了原本希望公開的內容。上線前也要確認 XML 網站地圖可用,並檢查中繼資料、內部連結與頁面結構。這些檢查的重點是找出非預期限制,不能把「沒有阻擋爬取」當成「一定會被收錄」的保證。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先確認哪些內容應該開放

不要一開始就刪除所有限制,而應先列出希望搜尋引擎存取的重要頁面,再判斷哪些限制不符合原本的規劃。Yoast 的上線前建議也包括確認重要頁面可爬取、搜尋引擎未被意外阻擋,以及 XML 網站地圖可用。

  • 逐一核對重要頁面是否可供爬取,而非只檢查首頁。
  • 確認 XML 網站地圖可以正常存取。
  • 人工檢視中繼資料、內部連結及頁面結構,確認與預期一致。

檢查 robots.txt 的限制對象與範圍

Semrush 提供的基本檢查方式,是在瀏覽器開啟網站根目錄下的 robots.txt,查看是否有規則阻擋了原本希望允許存取的爬蟲。不要只確認檔案存在,也要看規則限制了哪些爬蟲、涵蓋哪些路徑。

例如,「User-agent: Googlebot」搭配「Disallow: /」,是在告知 Googlebot 不要存取整個網站。若原意是讓 Google 爬取公開內容,就應優先檢查這組設定是否被誤留。應修正的是非預期阻擋,而不是不分用途地清空所有規則。

別漏掉主題與管理設定

限制也可能來自未曾留意的預設選項。Webmasters Stack Exchange 有使用者回報,其部落格使用的 Thesis 主題預設啟用 canonical URL,並在部分屬性上啟用 noindex/nofollow。該使用者之後以 SEO Doctor 檢查時,部分原創內容被工具標示為不可索引。

這是特定使用者的回報,不能據此認定 canonical 或 nofollow 本身就會造成頁面不被索引,也不能推論所有主題都有相同預設。這個案例提醒我們:排查時除了 robots.txt,也要核對主題、外掛及網站管理工具中的搜尋相關設定,不要只憑內容已發布就認定設定正確。

修改前先測試,不只閱讀規則

Screaming Frog 在 2019 年的文章中,曾介紹如何使用 SEO Spider 載入或自訂 robots.txt,測試單一網址是否受阻,或依自訂規則爬取整個網站。修改規則前,可以參考這個方法:先用希望開放的重要網址測試,再檢查是否影響其他內容。不過,該文介紹的工具介面及 Search Console 相關資訊反映的是當時情況,不宜直接當成現行操作指引。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

網站索引設定的網路各方意見

希望內容供 AI 搜尋使用時,還需要檢查什麼?

除了確認一般搜尋爬蟲沒有被誤擋,也可檢查 robots.txt 是否限制了相關 AI 爬蟲。要檢查哪些爬蟲,取決於你希望內容出現在哪些 AI 搜尋服務中。Semrush 建議移除誤擋原本希望允許存取的爬蟲的規則;但是否開放仍應依網站用途決定,不必因此移除所有限制。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Should I let Google index tag archives on wordpress?webmasters.stackexchange.com — 本文論述的參考來源。
  2. The complete guide to building a website with AI: From prompt to publishyoast.com · 2026-07-08T07:52:33+00:00 — 本文論述的參考來源。
  3. On-page SEO checklist: The complete task list for 2026www.semrush.com · 2023-03-31T07:46:00Z — 討論:希望內容供 AI 搜尋使用時,還需要檢查什麼?
  4. Reviving Retired Search Console Reportswww.screamingfrog.co.uk · 2019-04-08T13:18:41+00:00 — 本文論述的參考來源。
  5. How to diagnose a search engine ranking drop?webmasters.stackexchange.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR