可爬取性是搜尋引擎能否順利發現、存取網頁;可索引性則是頁面能否被加入搜尋引擎的索引。兩者影響內容獲得搜尋曝光的機會,但「能被抓取」不等於「已被收錄」,可索引也不代表一定有好排名。排查 SEO 問題時,應分開確認搜尋引擎能否取得頁面,以及是否存在妨礙索引的設定或錯誤。
爬取是取得內容,索引是將內容納入搜尋資料庫
搜尋引擎的爬蟲會沿著頁面之間的連結,發現新頁面或已更新的內容。索引通常在爬取之後進行,由搜尋引擎分析頁面內容,再將其加入資料庫。爬取關心的是「找不找得到、讀不讀得到」,索引關心的則是「能不能納入資料庫」。
例如,爬蟲能透過內部連結讀取一篇文章,但文章頁面設有禁止索引的指令,就可能出現「可爬取,但不可索引」的情況。因此,只確認網址能開啟,還不足以判斷頁面是否符合收錄條件。
影響收錄的條件,不只有 robots.txt
robots.txt 用來告知爬蟲哪些路徑可以或不應爬取,但允許爬取不代表所有索引障礙都已排除。檢查重要頁面時,可以依序確認:
- 連結是否有效:頁面搬移、刪除或網址拼寫錯誤,都可能使內部連結失效,讓使用者與爬蟲無法透過連結抵達內容。應將這些連結改為指向適當頁面,或予以移除。
- 是否限制索引:meta robots 指令與 X-Robots-Tag 標頭可能阻止索引,即使 robots.txt 允許爬取也一樣。
- 是否指定了希望收錄的版本:檢查 canonical 標籤指定的版本,是否與希望被收錄的頁面一致。
- 伺服器回應與網站地圖是否正常:排查 4xx、5xx 錯誤,並確認 XML sitemap 列出的是希望被索引的頁面。
改善技術條件,是爭取曝光,不是保證收錄
未被索引的頁面不會出現在搜尋結果中。改善網址結構與可爬取性,並透過 Search Console 或 sitemap 告知搜尋引擎有哪些新增或更新的頁面,有助提高收錄機會,但提交不代表一定會被收錄。
工具標示的「可索引」也不等於搜尋引擎一定會收錄。Screaming Frog 在 2018 年的 SEO Spider 10.0 說明中,將「可索引」簡化為可爬取、回傳 200 狀態碼且允許索引。同文也提醒,即使搜尋引擎無法爬取某個網址的內容,仍可能透過指向它的連結將該網址納入索引。這說明了當時工具的定義與限制,並不保證頁面如今一定會被收錄。
若特定主題沒有帶來搜尋流量,Google 建議先確認網站是否有相應內容,再檢查搜尋引擎能否爬取並建立索引。不要在確認內容是否存在之前,就把缺乏搜尋流量全部歸因於技術問題。
可爬取性與可索引性的網路各方意見
頁面沒有收錄,一定是技術設定出了問題嗎?
不一定。除了檢查爬取與索引設定,也應檢視內容本身。論壇討論提到,Google 有時可能因認為內容價值不足而不收錄,站內或站外的重複內容是可能原因。這是排查方向,不能單憑頁面未收錄就斷定是重複內容造成,也不代表修改後一定會收錄。
伺服器存取紀錄能幫忙排查什麼?
存取紀錄可用來分析 Google 爬蟲造訪網站的情況,例如哪些頁面在紀錄涵蓋期間未被爬取、哪些頁面較常被爬取,以及爬取時遇到什麼錯誤。分析結果可協助找出可爬取性與可索引性的改善方向;但它反映的是紀錄期間的請求,不能單憑有爬取紀錄就認定頁面已收錄。
沒有行動版網頁,就不能被 Google 收錄嗎?
分頁或可折疊區塊裡的文字能被索引嗎?
有可能。awoo 引述的 Google 回應指出,Google 可以抓取並索引分頁與可折疊區塊中的文字,前提是內容不是為惡意操縱排名而設計的隱藏內容。設計時仍應以使用者體驗為目的,確保內容相關、有用且可被爬取;該文也提醒,使用 JavaScript 隱藏內容可能造成爬取困難。
參考資料
- 針對 Google 搜尋流量下滑情形進行偵錯 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- Why google is not indexing my post?www.warriorforum.com — 討論:頁面沒有收錄,一定是技術設定出了問題嗎?
- Crawlability & Indexability: What They Are & How They Affect SEOwww.semrush.com · 2016-11-01T13:00:00Z — 本文論述的參考來源。
- Screaming Frog SEO Spider Update – Version 10.0www.screamingfrog.co.uk · 2018-09-19T09:11:39+00:00 — 本文論述的參考來源。
- Ultimate SEO checklist: 43 tips to optimize your websitewww.semrush.com · 2020-06-12T14:45:00Z — 本文論述的參考來源。
- SEO Traffic: What It Is & 6 Ways to Increase It in 2025www.semrush.com · 2022-06-29T11:00:00Z — 討論:沒有行動版網頁,就不能被 Google 收錄嗎?
- SEO 與 AI 綜效!自動化行銷策略助攻零售電商再創銷售奇蹟www.awoo.ai · 2025-05-14T07:05:38+00:00 — 本文論述的參考來源。
- 9 Best Content Management Systems for SEO in 2025www.semrush.com · 2023-11-13T16:26:00Z — 討論:沒有行動版網頁,就不能被 Google 收錄嗎?
- Website Health: A Guide to Optimal Online Performancewww.semrush.com · 2021-04-22T13:43:00Z — 本文論述的參考來源。
- Tabbed Content是什麼?使用可折疊內容對SEO的影響為何?www.awoo.ai · 2023-03-28T03:52:04+00:00 — 討論:分頁或可折疊區塊裡的文字能被索引嗎?
- 28 SEO Skills That Will Help You Reach New Career Heightswww.semrush.com · 2025-01-31T11:11:00Z — 本文論述的參考來源。
- 8 SEO Automation Tools for Improved Efficiencywww.semrush.com · 2020-10-23T13:31:00Z — 討論:伺服器存取紀錄能幫忙排查什麼?



