如何選擇及實作 robots 標籤?

ProcrustesPR

選擇 robots 設定,先分清楚你要限制的是爬蟲讀取內容的「檢索」,還是將內容收錄到搜尋引擎的「索引」,再看資源格式。若希望 HTML 頁面不要出現在搜尋結果,可在 head 區段加入含有 noindex 指令的 meta robots 標籤;PDF、圖片等非 HTML 資源則可透過 HTTP 回應標頭設定 X-Robots-Tag。若目的是限制爬蟲檢索特定路徑,則應評估 robots.txt,不要將限制檢索與限制索引混為一談。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先決定哪些頁面不需要出現在搜尋結果

不要只因網站有 SEO 需求,就替所有頁面套上限制。yesharris 的 2024 年文章建議,讓有 SEO 價值的頁面維持可檢索。若頁面仍可供搜尋引擎讀取,但不希望它出現在搜尋結果,再使用 meta robots 控制索引。這是作者的操作建議,不是所有網站都必須遵守的官方規則。

  • 購物車、結帳頁:該文將這些流程頁列為通常可設定 noindex 的例子,避免它們出現在搜尋結果。
  • 不希望被檢索的路徑:應另外評估 robots.txt,而不是把 noindex 理解成禁止爬蟲讀取。
  • 頁面上的連結:是否限制爬蟲跟隨連結,應另外判斷,不要因為要禁止索引,就直接附加 nofollow。

依資源格式選擇設定位置

Semrush 的文章依資源格式介紹設定方式:HTML 頁面使用 meta robots 較簡單;PDF、圖片等非 HTML 資源則使用 X-Robots-Tag。後者也能用於 HTML,並可依檔案類型批次套用規則。

通常選擇其中一種方式即可。依該文說明,同時使用 meta robots 與 X-Robots-Tag,不會提高爬蟲遵循指令的可能性,因此不必為了「加強效果」重複設定。

從單頁設定開始,區分程式碼與後台操作

若目標只是讓某個 HTML 頁面不要被索引,可在該頁的 head 區段放入:
<meta name=”robots” content=”noindex”>
這個例子只指定 noindex;是否加入 nofollow,要看你是否也想限制爬蟲跟隨頁面上的連結。

使用內容管理系統時,可先查看頁面的 SEO 設定,或尋找合適的外掛。Semrush 認為,使用外掛通常較簡單,也能避免手動修改程式碼,但仍須依所用系統選擇。這篇文章標示的日期為 2020 年,因此文中列出的後台操作路徑,不一定適用於目前的介面。

若要對非 HTML 資源設定 noindex,應在 HTTP 回應標頭中設定,而不是寫入頁面內容。Semrush 文中列出的做法需要修改 Apache 或 Nginx 的伺服器設定,並非在單頁編輯器中操作。若要修改 Shopify 主題檔案,該文也提醒應謹慎處理,必要時諮詢開發者。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

加上 follow 就能強制爬蟲跟隨連結嗎?

不能。follow 不會強制爬蟲跟隨連結。一則討論認為,爬蟲在未被禁止時會自行檢索頁面、跟隨連結,robots 標籤主要用來限制行為;另一位發言者也同意,follow 不會強迫 Google 跟隨連結。因此,是否限制爬蟲跟隨頁面上的連結,仍應依實際需求判斷。

Shopify 可以只對特定頁面加入 noindex 嗎?

可以。Semrush 的範例是在主題的 theme.liquid 檔案中,以頁面的 handle 作為判斷條件,只對符合條件的頁面輸出 noindex 標籤,因此可針對不同頁面分別設定。這需要修改主題程式碼,應謹慎處理,必要時諮詢開發者。文章列出的做法不一定反映目前的後台介面。

如何在 HTTP 回應標頭寫入 robots 指令?

可透過伺服器設定,在 HTTP 回應標頭中加入 X-Robots-Tag,例如修改 Apache 或 Nginx 的設定檔。Semrush 提供的範例是 X-Robots-Tag: noindex, nofollow,讓 PDF、圖片等非 HTML 資源也能使用與 meta robots 相同的規則。這個範例同時限制索引與爬蟲跟隨連結;若只需要其中一項限制,依目的選用即可,不必照搬兩項。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Meta Robots Tag & X-Robots-Tag Explainedwww.semrush.com · 2020-12-16T14:16:00Z — 討論:Shopify 可以只對特定頁面加入 noindex 嗎?;如何在 HTTP 回應標頭寫入 robots 指令?
  2. robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 本文論述的參考來源。
  3. New META TAGS with positive effects for seo ranking in 2011 and beyondwebmasters.stackexchange.com — 討論:加上 follow 就能強制爬蟲跟隨連結嗎?
  4. New META TAGS with positive effects for seo ranking in 2011 and beyondwebmasters.stackexchange.com — 討論:加上 follow 就能強制爬蟲跟隨連結嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR