HTTP robots 標頭與 HTML meta 標籤有何差別?

ProcrustesPR

兩者主要差在設定位置與適用資源,而不是指令的效果。robots meta 標籤放在 HTML 網頁內;X-Robots-Tag 則放在 HTTP 回應標頭,除了網頁,也適用於 PDF、圖片及影片等非 HTML 資源。依 Google 文件,透過這兩種方式設定 noindex,效果相同,應依內容類型與網站設定方式選擇。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

設定位置:網頁的 head 區段與 HTTP 回應標頭

robots meta 標籤建議放在網頁的 head 區段。例如,加入 <meta name=”robots” content=”noindex”>,可要求支援這項規則的搜尋引擎不要將該頁編入索引。這種方式適合針對個別 HTML 頁面設定。若使用 CMS,也可能透過其中的搜尋引擎設定或其他機制加入標籤,不一定需要直接修改原始碼。

X-Robots-Tag 不放在 HTML 內容裡,而是隨該網址的 HTTP 回應傳回。例如,回應標頭中的 X-Robots-Tag: noindex,同樣可以要求搜尋引擎不要索引該資源。這裡的「HTTP 標頭」不是 HTML 的 head 區段,兩者是不同的設定位置。

使用情境:單頁設定、非 HTML 資源與批次管理

依 Google 的規格,robots meta 能使用的規則,也能透過 X-Robots-Tag 設定。因此,選擇重點在於要管理什麼資源,以及在哪裡維護規則較合適:

  • 個別 HTML 頁面:可在該頁加入 robots meta,例如讓某個頁面不進入搜尋結果。
  • PDF、圖片或影片:這些資源無法像 HTML 網頁一樣放入 robots meta,應改用資源本身的 X-Robots-Tag 回應標頭。
  • 同類檔案的批次設定:Google 文件提供 Apache 與 NGINX 範例,可依檔案類型,替全站 PDF 或圖片的回應加入規則,不必逐一修改檔案內容。

X-Robots-Tag 也能用於 HTML 網頁,不限於非 HTML 檔案。它方便批次套用規則,但這不代表它比 meta 更能阻止索引。

共同前提:Google 必須先讀到規則

不論用哪一種方式設定 noindex,都要讓 Googlebot 能檢索該網址。若同時用 robots.txt 封鎖存取,檢索器就無法讀取頁面標籤或回應標頭,網址仍可能因其他頁面的連結出現在搜尋結果中。Google 也不支援在 robots.txt 裡指定 noindex。

例如,要透過 HTTP 標頭讓圖片從索引中移除,必須允許 Googlebot 檢索圖片網址;只讓它存取嵌入圖片的文章並不足夠。新增規則後,Google 仍需再次檢索才能發現變更,因此完成設定不代表內容會立即從搜尋結果中移除。上述效果以 Google 文件為依據,其他搜尋引擎對規則的解讀可能不同。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

HTTP robots 標頭與 HTML meta 標籤的網路各方意見

同一頁面需要同時設定兩種方式嗎?

通常不必。Semrush 認為,使用其中一種即可,同時設定不會提高爬蟲遵循指令的可能性。若網站因不同管理流程而同時使用兩者,應檢查頁面標籤與回應標頭實際傳回的規則是否一致,避免維護時產生混淆。

只在文章頁面設定 noimageindex,就能確保圖片不被 Google 索引嗎?

不能確保。Google 說明,頁面上的 noimageindex 會限制該頁內嵌圖片的索引,但同一張圖片若出現在其他頁面,仍可能經由其他頁面建立索引。若要針對圖片本身處理,可在圖片回應標頭設定 noindex,並允許 Googlebot 檢索該圖片網址,才能讀取規則。

設定 noindex 後,內容仍出現在 Google 搜尋結果該怎麼查?

先確認相關網址沒有被 robots.txt 封鎖,再檢查頁面原始碼中的 meta 標籤,以及實際請求的回應標頭是否含有預期規則。若處理的是圖片,也應分別檢查圖片與所在頁面的設定。Google 可能尚未在變更後重新檢索;可使用網址檢查工具要求重新檢索,但不代表結果會立即移除。

除了 noindex,兩種方式還能用來設定什麼?

例如可設定 notranslate,要求停用 Google 搜尋中的翻譯功能。它可以寫在 robots 或 googlebot 的 meta 標記中,也可透過 X-Robots-Tag 回應標頭傳送。選擇時仍要留意指令指定的對象:googlebot 標記針對 Google,其他搜尋引擎是否支援則不可一概而論。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 翻譯 Google 搜尋結果 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:除了 noindex,兩種方式還能用來設定什麼?
  2. 從 Google 搜尋中移除自己網站上的圖片 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:只在文章頁面設定 noimageindex,就能確保圖片不被 Google 索引嗎?
  3. 使用「noindex」禁止 Google 搜尋建立索引 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:設定 noindex 後,內容仍出現在 Google 搜尋結果該怎麼查?
  4. 漫遊器中繼標記規格 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  5. How Can I Tell If My Images Are Optimized For Multimodal Search? – Ask an SEOwww.searchenginejournal.com · 2026-10-29T15:30:40+00:00 — 討論:設定 noindex 後,內容仍出現在 Google 搜尋結果該怎麼查?
  6. Meta Robots Tag & X-Robots-Tag Explainedwww.semrush.com · 2020-12-16T14:16:00Z — 討論:同一頁面需要同時設定兩種方式嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR