不能只靠 XML 網站地圖,讓 Google 或其他搜尋引擎只檢索清單內的頁面。網站地圖用來告知搜尋引擎網站有哪些內容,不是限定檢索範圍的白名單;網址未列入其中,不代表已被禁止檢索。若要限制特定頁面或目錄被檢索,必須另外明確設定,不能只把網址從網站地圖刪掉。此外,是否納入索引與是否允許檢索,是兩個不同的問題。
網站地圖提供線索,不劃定邊界
Webmasters Stack Exchange 的公開回答直接指出,XML 網站地圖無法指定「不要檢索未列出的頁面」。Backlinko 於 2025 年的文章則將網站地圖描述為列出重要頁面、引導爬蟲找到關鍵內容的檔案,並指出納入重要頁面有助於加快索引。這兩則說明點出了網站地圖的作用與限制:它能幫助搜尋引擎找到重要內容,卻不能禁止搜尋引擎檢索其他頁面。
例如,網站地圖只列出產品介紹與文章頁面,沒有列出測試頁。這份清單提供了產品與文章的網址,卻沒有禁止搜尋引擎檢索測試頁。列出希望被找到的頁面,與指定哪些頁面不能被檢索,是兩件不同的事。
想排除頁面,先分清楚要限制什麼
上述公開回答提到,對不希望被檢索的頁面或目錄,可另外透過 robots.txt 設定限制;對不希望被檢索或索引的內容,也提及使用 meta 標籤。但這不代表兩種工具可以任意互換,仍須依目的選擇。這段概述也不是適用於所有搜尋引擎的完整設定教學。
- 希望重要頁面被找到:把相關網址列入 XML 網站地圖,幫助搜尋引擎發現內容。
- 不希望特定路徑被檢索:另外設定檢索限制,不能只將網址排除在網站地圖之外。
- 不希望內容被納入索引:另行確認索引控制方式,不能以為限制檢索就能排除索引。
因此,整理網站地圖之前,先分別列出「希望被發現的頁面」與「需要限制的頁面」,再依目的處理,不要期待一份網站地圖同時完成這兩種任務。
HTML 網站地圖也不能限制檢索
Semrush 於 2020 年的文章區分了兩種網站地圖:HTML 網站地圖是將連結有組織地排列、協助訪客瀏覽的網頁;XML 網站地圖則主要提供搜尋引擎使用。若要讓讀者容易找到分類與文章,HTML 版本有其用途,但換成另一種網站地圖格式,仍不能取代明確的檢索限制。重點不在於選哪種格式,而在於網站地圖是幫助訪客或搜尋引擎找到內容的工具,不能用來禁止檢索。
網站地圖與檢索範圍的網路各方意見
網站地圖列出的網址,Google 都會檢索嗎?
想限制某個目錄被檢索,robots.txt 可以怎麼表達?
robots.txt 裡的 Sitemap 紀錄,是用來封鎖頁面的嗎?
不是。Sitemap 紀錄是用來指出網站地圖的位置;若要表達路徑的檢索限制,相關教學另以 User-agent 指定對象、以 Disallow 或 Allow 指定路徑。2018 年文章也將 Sitemap 描述為不受這些規則群組影響的獨立紀錄;這項歷史說明不應代替各搜尋引擎的現行規範。
參考資料
- Should I include everything in the sitemap or only new content?webmasters.stackexchange.com — 討論:想限制某個目錄被檢索,robots.txt 可以怎麼表達?
- How Do Search Engines Work? (Quick Guide for Beginners)backlinko.com · 2025-01-21T15:28:48-05:00 — 討論:網站地圖列出的網址,Google 都會檢索嗎?
- Robots.txt用途與使用範例教學,釐清SEO收錄觀念!www.awoo.ai · 2018-03-29T08:57:00+00:00 — 討論:想限制某個目錄被檢索,robots.txt 可以怎麼表達?;robots.txt 裡的 Sitemap 紀錄,是用來封鎖頁面的嗎?
- HTML Sitemap: The Benefits for SEO and Userswww.semrush.com · 2020-12-17T14:29:00Z — 本文論述的參考來源。
- URLs in Google Web Index Has Dropped to 0!! Why?webmasters.stackexchange.com — 討論:網站地圖列出的網址,Google 都會檢索嗎?
- How to get your website indexed by Googlewww.semrush.com · 2020-12-28T14:21:00Z — 討論:網站地圖列出的網址,Google 都會檢索嗎?



