可以用 robots.txt 限制爬取,但不能靠它保證「只讓指定的 50 頁被索引」。假設兩個子網域各有數百頁,舊 CMS 又無法逐頁設定 noindex,封鎖整站再放行指定頁面,只能控制爬蟲可以抓取哪些網址。其餘網址若有外部連結指向,仍可能出現在 Google 索引中。若真正目標是讓這些頁面不出現在搜尋結果,應優先評估如何設定 noindex,而不是把禁止爬取視為禁止收錄。
封鎖爬取,不等於排除搜尋結果
兩種設定的用途不同:robots.txt 告訴爬蟲哪些路徑不能抓取;robots 中繼標籤中的 noindex 則用來控制頁面是否被索引。Neil Patel 網站的 2026 年文章指出,頁面可以被 Google 爬取卻不被索引,也可能遭 robots.txt 封鎖,卻仍因其他網站的連結而被納入索引。
- 只希望爬蟲不要抓取某個區域:可使用 robots.txt。
- 希望頁面可供訪客使用,但不要出現在搜尋結果:應評估 noindex。
- 其餘頁面絕不能被索引:單靠封鎖爬取,無法滿足這項要求。
例如,購物流程中的確認頁即使不需要搜尋曝光,也不能只因為禁止爬取,就認定它不會被收錄。重點不在封鎖多少頁,而在設定是否符合真正的目標。
CMS 無法逐頁設定,先確認其他途徑
除了頁面內的 meta 標籤,Webmasters Stack Exchange 的回答也提出使用 HTTP 回應標頭 X-Robots-Tag 控制索引。因此,可請網站維護者確認,能否讓不希望被索引的頁面回傳 X-Robots-Tag: noindex。不過,不能直接假定現有主機或 CMS 一定支援這種做法。
另一種做法是修改系統產生頁面的方式。2022 年的大衛設計文章提到,noindex 可以由程式按單元產生,不一定要逐頁手動填寫。論壇參與者也建議改用具備所需控制功能的 CMS。
不要把封鎖爬取與 noindex 當成雙重保險。上述 2022 年文章同時提醒,頁面被 robots.txt 阻擋後,搜尋引擎便無法讀取其中的 noindex,也就無法依這項指令排除頁面。因此,評估方案時不能只確認設定已經寫入,還要確認搜尋引擎能否讀取指令。
是否使用 robots.txt,取決於限制的目的
若需求確實是限制抓取,robots.txt 仍有用途。例如,2024 年的 YesHarris 文章說明,可用 Disallow 封鎖某個路徑,再以 Allow 放行其中的特定路徑。這是管理爬取的方式,不是索引白名單。
至於多收錄一些頁面是否會傷害 SEO,不能直接下定論。公開論壇中,有人認為不想收錄的頁面被索引可能造成問題,也有人認為不會傷害 SEO,低價值頁面甚至可能本來就不會被索引。這些意見不足以判定本案對排名的影響。目前能確定的是,若要求其餘頁面不被索引,原先的 robots.txt 方案並不足夠。
只索引少量頁面的網路各方意見
放行網址時,重新導向會影響設定嗎?
哪些情況適合限制爬取,而不是以排除索引為主要目的?
不希望公開的頁面,能靠 robots.txt 或 noindex 保護嗎?
參考資料
- Need only tens of pages to be indexed out of hundreds: Robots.txt is Okay to proceed with?www.warriorforum.com — 本文論述的參考來源。
- Will googlebot index my index.php even with an htaccess redirect?webmasters.stackexchange.com — 討論:放行網址時,重新導向會影響設定嗎?
- 技術性SEO:打造高品質網站,提升搜尋引擎排名tenten.co · 2024-12-25T18:03:57.000Z — 討論:設定後如何檢查是否排除了預期的頁面?
- Meta Tags for SEO: What They Are, Why They Matter, and How to Use Themneilpatel.com · 2026-09-04T16:00:00+00:00 — 本文論述的參考來源。
- Need only tens of pages to be indexed out of hundreds: Robots.txt is Okay to proceed with?www.warriorforum.com — 本文論述的參考來源。
- Will googlebot index my index.php even with an htaccess redirect?webmasters.stackexchange.com — 討論:放行網址時,重新導向會影響設定嗎?
- robots.txt、meta robots設定:讓網頁不被Google搜尋到www.yesharris.com · 2024-08-15T14:20:11+08:00 — 本文論述的參考來源。
- Noindex是什麼?了解3種設定方法與使用時機,讓你提升網站排名!welly.tw · 2024-11-11T08:07:06.770Z — 討論:設定後如何檢查是否排除了預期的頁面?
- Need only tens of pages to be indexed out of hundreds: Robots.txt is Okay to proceed with?www.warriorforum.com — 本文論述的參考來源。
- Robots.txt Explained: Syntax, Best Practices, & SEOwww.semrush.com · 2018-07-10T11:00:00Z — 討論:哪些情況適合限制爬取,而不是以排除索引為主要目的?
- How do you configure robots.txt to allow crawling of the site except for a few directories?webmasters.stackexchange.com — 討論:不希望公開的頁面,能靠 robots.txt 或 noindex 保護嗎?
- 用 robots.txt、noindex 限制搜尋引擎抓網站資料www.da-vinci.com.tw · 2022-09-11T23:38:01+08:00 — 討論:哪些情況適合限制爬取,而不是以排除索引為主要目的?;不希望公開的頁面,能靠 robots.txt 或 noindex 保護嗎?



