選擇 robots 設定,先分清楚你要限制的是爬蟲讀取內容的「檢索」,還是將內容收錄到搜尋引擎的「索引」,再看資源格式。若希望 HTML 頁面不要出現在搜尋結果,可在 head 區段加入含有 noindex 指令的 meta robots 標籤;PDF、圖片等非 HTML 資源則可透過 HTTP 回應標頭設定 X-Robots-Tag。若目的是限制爬蟲檢索特定路徑,則應評估 robots.txt,不要將限制檢索與限制索引混為一談。
先決定哪些頁面不需要出現在搜尋結果
不要只因網站有 SEO 需求,就替所有頁面套上限制。yesharris 的 2024 年文章建議,讓有 SEO 價值的頁面維持可檢索。若頁面仍可供搜尋引擎讀取,但不希望它出現在搜尋結果,再使用 meta robots 控制索引。這是作者的操作建議,不是所有網站都必須遵守的官方規則。
- 購物車、結帳頁:該文將這些流程頁列為通常可設定 noindex 的例子,避免它們出現在搜尋結果。
- 不希望被檢索的路徑:應另外評估 robots.txt,而不是把 noindex 理解成禁止爬蟲讀取。
- 頁面上的連結:是否限制爬蟲跟隨連結,應另外判斷,不要因為要禁止索引,就直接附加 nofollow。
依資源格式選擇設定位置
Semrush 的文章依資源格式介紹設定方式:HTML 頁面使用 meta robots 較簡單;PDF、圖片等非 HTML 資源則使用 X-Robots-Tag。後者也能用於 HTML,並可依檔案類型批次套用規則。
通常選擇其中一種方式即可。依該文說明,同時使用 meta robots 與 X-Robots-Tag,不會提高爬蟲遵循指令的可能性,因此不必為了「加強效果」重複設定。
從單頁設定開始,區分程式碼與後台操作
若目標只是讓某個 HTML 頁面不要被索引,可在該頁的 head 區段放入:
<meta name=”robots” content=”noindex”>
這個例子只指定 noindex;是否加入 nofollow,要看你是否也想限制爬蟲跟隨頁面上的連結。
使用內容管理系統時,可先查看頁面的 SEO 設定,或尋找合適的外掛。Semrush 認為,使用外掛通常較簡單,也能避免手動修改程式碼,但仍須依所用系統選擇。這篇文章標示的日期為 2020 年,因此文中列出的後台操作路徑,不一定適用於目前的介面。
若要對非 HTML 資源設定 noindex,應在 HTTP 回應標頭中設定,而不是寫入頁面內容。Semrush 文中列出的做法需要修改 Apache 或 Nginx 的伺服器設定,並非在單頁編輯器中操作。若要修改 Shopify 主題檔案,該文也提醒應謹慎處理,必要時諮詢開發者。
主題的網路各方意見
加上 follow 就能強制爬蟲跟隨連結嗎?
Shopify 可以只對特定頁面加入 noindex 嗎?
可以。Semrush 的範例是在主題的 theme.liquid 檔案中,以頁面的 handle 作為判斷條件,只對符合條件的頁面輸出 noindex 標籤,因此可針對不同頁面分別設定。這需要修改主題程式碼,應謹慎處理,必要時諮詢開發者。文章列出的做法不一定反映目前的後台介面。
如何在 HTTP 回應標頭寫入 robots 指令?
可透過伺服器設定,在 HTTP 回應標頭中加入 X-Robots-Tag,例如修改 Apache 或 Nginx 的設定檔。Semrush 提供的範例是 X-Robots-Tag: noindex, nofollow,讓 PDF、圖片等非 HTML 資源也能使用與 meta robots 相同的規則。這個範例同時限制索引與爬蟲跟隨連結;若只需要其中一項限制,依目的選用即可,不必照搬兩項。
參考資料
- Meta Robots Tag & X-Robots-Tag Explainedwww.semrush.com · 2020-12-16T14:16:00Z — 討論:Shopify 可以只對特定頁面加入 noindex 嗎?;如何在 HTTP 回應標頭寫入 robots 指令?
- robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 本文論述的參考來源。
- New META TAGS with positive effects for seo ranking in 2011 and beyondwebmasters.stackexchange.com — 討論:加上 follow 就能強制爬蟲跟隨連結嗎?
- New META TAGS with positive effects for seo ranking in 2011 and beyondwebmasters.stackexchange.com — 討論:加上 follow 就能強制爬蟲跟隨連結嗎?



