能否讓搜尋結果只顯示網站首頁?先區分索引與檢索

ProcrustesPR

如果目標是讓首頁以外的頁面不再作為獨立搜尋結果出現,可以保留首頁可被索引的狀態,對其他頁面設定 noindex,而不是只用 robots.txt 封鎖檢索。不過,這不能保證搜尋時一定顯示首頁。若你想隱藏的是首頁搜尋結果下方附帶的內頁連結,本文引用的資料不足以說明如何單獨控制這類連結的顯示。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

要排除內頁,控制的是索引

Webmasters Stack Exchange 的回答建議,透過頁面內的 robots 中繼標籤,或 HTTP 回應標頭 X-Robots-Tag,為不想被收錄的頁面設定 noindex。另一則回答也認為,逐頁設定比用 robots.txt 處理這個問題更精細。

  • 首頁:不要套用原本要給內頁的 noindex。
  • 關於我們等內頁:若確定不希望它們出現在搜尋結果,可逐頁設定 noindex。
  • 仍要讓訪客瀏覽的頁面:排除索引不等於刪除頁面,頁面仍可保留供訪客瀏覽。

noindex 並不是「只在搜尋網域名稱時隱藏內頁」的設定,而是要求搜尋引擎不要索引那些頁面。採用前,應先確認你真的不需要讀者透過搜尋找到這些頁面。

robots.txt 封鎖檢索,不等於移除搜尋結果

Semrush 在 2024 年的說明指出,即使 robots.txt 封鎖頁面,Google 仍可能透過其他頁面的連結找到網址,將其收錄並顯示於搜尋結果。因此,即使把每個內頁路徑都列入 Disallow,也不能認定搜尋結果就只會剩下首頁。

論壇上的意見並不一致。Warrior Forum 的 paulgl 主張,只有將頁面下線或加上密碼保護,才能確保它不出現在搜尋結果,並質疑 noindex 的效果。但其他回答及上述文章支持以 noindex 控制索引。paulgl 的個人斷言不能當成 Google 官方規則;同樣地,noindex 也不等於密碼保護,不能用來限制訪客存取頁面。

WordPress 設定前,先確認首頁網址與排除範圍

設定首頁的檢索例外時,尤其容易弄錯網址。Webmasters Stack Exchange 的案例提醒:若 /index.php 會轉址到 /,卻只允許檢索 /index.php、封鎖 /,就可能連訪客實際看到的首頁也一併封鎖。因此,不能只憑檔名看起來像首頁就決定設定方式。

至於分類、標籤與封存頁,Semrush 的 2022 年文章曾示範如何透過 Yoast SEO,關閉特定頁面類型在搜尋結果中的顯示。這項建議適用於這些頁面對搜尋使用者用處不大的情境,不代表所有網站都應排除它們。該文的選單路徑反映當時的介面,不能直接當成現行操作步驟。設定好分類頁後,也仍須逐一確認「關於我們」等內頁的設定。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

不想讓內頁被索引,但希望爬蟲繼續追蹤頁面上的連結,該怎麼設定?

一則 Webmasters Stack Exchange 回答建議,在不想被索引的頁面使用 noindex, follow;若也不希望爬蟲追蹤該頁的連結,則可將 follow 改為 nofollow。這是逐頁控制的選擇,適用於仍要保留頁面供訪客瀏覽、但不希望它成為搜尋結果的情況;是否保留連結追蹤,則要依頁面用途決定。

設定後,已出現的搜尋結果會立刻消失嗎?

不能保證會立刻消失。一則 Webmasters Stack Exchange 回答認為,如果爬蟲長時間未在相關網址發現活動,已快取頁面所對應的搜尋結果可能會逐漸消失。不過,該回答沒有提供確切時間,這項判斷也只適用於遵守相關指示的爬蟲。這是討論者基於經驗的判斷,不宜當成移除期限或保證。

對內頁使用 noindex,會影響 AI Overviews 嗎?

Semrush 在 2024 年的說明指出,對頁面使用 noindex,會讓該頁不出現在 AI Overviews,但也會將它移出一般搜尋結果。因此,若只是想限制 AI Overviews,而仍希望內頁保留一般搜尋曝光,使用前應先考慮這個代價;它不是只針對 AI Overviews 的設定。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Will googlebot index my index.php even with an htaccess redirect?webmasters.stackexchange.com — 本文論述的參考來源。
  2. Is it possible to noindex whole website except one page?www.warriorforum.com — 本文論述的參考來源。
  3. AI Overviews: What Are They & How to Optimize for Themwww.semrush.com · 2024-05-31T14:20:00Z — 討論:對內頁使用 noindex,會影響 AI Overviews 嗎?
  4. Multiple domain links on Google from one WordPress sitewebmasters.stackexchange.com — 討論:不想讓內頁被索引,但希望爬蟲繼續追蹤頁面上的連結,該怎麼設定?;設定後,已出現的搜尋結果會立刻消失嗎?
  5. Which is the best option Meta Robot tags or robots.txt?www.warriorforum.com — 本文論述的參考來源。
  6. The Ultimate Guide to WordPress SEOwww.semrush.com · 2022-11-18T14:32:00Z — 本文論述的參考來源。
  7. Multiple domain links on Google from one WordPress sitewebmasters.stackexchange.com — 本文論述的參考來源。
  8. What Is Googlebot? How Google's Web Crawler Workswww.semrush.com · 2024-08-23T14:32:00Z — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR