若要讓頁面可被 Google 爬取、但不出現在搜尋結果,應使用 noindex,並讓 Googlebot 能讀取這項規則;只用 robots.txt 排除並不足夠。robots.txt 管的是爬取,不是確保網址不被索引。若內容只能讓特定使用者查看,則應採用登入或密碼保護,而不是只隱藏搜尋結果。
禁止爬取,不等於排除索引
爬取是搜尋引擎存取頁面;建立索引則是將頁面或網址納入搜尋索引。兩者並不相同。即使 Google 無法爬取被 robots.txt 封鎖的頁面,仍可能透過其他網站的連結發現網址,並在搜尋結果中顯示該網址,但不附網頁說明。
因此,若已決定不讓表單頁出現在搜尋結果,不能只加上 Disallow 就視為完成。robots.txt 適合管理爬取流量,例如避免大量請求造成伺服器負擔,但不能確保網址不出現在搜尋結果。
依頁面是否保留、是否公開來選方法
- 頁面保留供使用者瀏覽,但不希望被搜尋找到:使用 noindex,可透過頁面的 robots meta 標籤或 HTTP 回應標頭 X-Robots-Tag 設定。
- 內容只限授權者查看:採用登入或密碼保護。不出現在搜尋結果,不代表只有授權者能存取內容。
- 內容已不需要提供:可以完全移除頁面,不必只為了設定排除索引而保留內容。
例如,公開表單若只是不希望讓人透過搜尋找到,可考慮 noindex;若涉及私人內容,重點就應放在限制存取權限,而不只是索引設定。
使用 noindex,先確保爬蟲讀得到
常見的設定衝突是同一頁既被 robots.txt 封鎖,又設定 noindex。Googlebot 若不能爬取,就無法讀取頁面上的 noindex 規則。因此,不能期待兩項設定一起使用會「更保險」。
若網址已被索引且遭 Disallow 封鎖,可解除該網址的封鎖,讓 Google 讀取 noindex。若不適合開放存取,則改採密碼保護或移除頁面。設定後可用網址檢查工具確認 Googlebot 能否存取,並檢查頁面是否包含 noindex。
頁面不被索引,連結仍可能被發現
頁面是否被索引,與搜尋引擎是否跟隨頁面上的連結,是兩回事。因此,要求 Google 不顯示這一頁,並不等於要求它忽略頁面上的連結。
但別把 noindex 頁面當成通往重要內容的唯一入口。Semrush 的 2024 年文章提醒,搜尋引擎未必會一直跟隨這類頁面上的連結,長期依賴它們可能讓其他頁面更難被發現。因此,重要頁面也應有其他內部連結指向它們。
索引排除的網路各方意見
「不索引這一頁,但仍跟隨連結」具體是什麼意思?
只想暫時隱藏 Google 搜尋結果中的網址,可以怎麼做?
參考資料
- 網頁程式開發人員的搜尋引擎最佳化 (SEO) 指南 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:只想暫時隱藏 Google 搜尋結果中的網址,可以怎麼做?;設定排除前,如何避免誤傷重要頁面?
- robots.txt 簡介與指南 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:設定排除前,如何避免誤傷重要頁面?
- Spam Guide Update, Restaurant Controls & AI Mode Revenue – SEO Pulsewww.searchenginejournal.com · 2026-10-31T12:00:00+00:00 — 本文論述的參考來源。
- 使用”noindex”等4種方式禁止特定網頁被收錄,提升網站整體seo品質www.awoo.ai · 2018-01-15T09:00:23+00:00 — 討論:設定排除前,如何避免誤傷重要頁面?
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 本文論述的參考來源。
- How to Create and Optimize Your Robots.txt Fileneilpatel.com · 2026-05-26T19:00:00+00:00 — 本文論述的參考來源。
- Noindex是什麼?了解3種設定方法與使用時機,讓你提升網站排名!welly.tw · 2024-11-11T08:07:06.770Z — 討論:「不索引這一頁,但仍跟隨連結」具體是什麼意思?
- What Is Noindex Used for? An Overview + Best Practiceswww.semrush.com · 2024-07-31T12:14:00Z — 討論:「不索引這一頁,但仍跟隨連結」具體是什麼意思?
- How to hide links from search engineswww.warriorforum.com — 討論:只想暫時隱藏 Google 搜尋結果中的網址,可以怎麼做?



