robots.txt 封鎖內部連結指向的目錄或網址,會影響 SEO 與排名嗎?

ProcrustesPR

可能影響 SEO,但不能只憑「內部連結指向被封鎖網址」就判定排名受損。先分清楚:被封鎖的是連結目標,還是放置連結的頁面?robots.txt 阻止爬取,不保證網址會從搜尋結果中消失。若誤擋希望被搜尋到的內容,就需要處理;若網址只是平台自動產生,其中沒有需要被索引的內容,則未必是問題。公開討論中提到的 1,427 個網址,也不能直接換算成連結價值或排名損失。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先確認封鎖的是哪一端

公開討論中的產品篩選案例,是部落格連到特定篩選結果,而篩選結果網址被 robots.txt 封鎖;部落格本身並未被封鎖。發問者原本想避免大量篩選頁被索引,但阻止爬取不等於阻止索引。

  • 封鎖連結目標:搜尋引擎仍可能從其他頁面的連結得知網址,但無法爬取目標內容。
  • 封鎖連結所在頁面:搜尋引擎無法爬取該頁,也就無法藉此讀取其中的連出連結。這與只封鎖篩選結果頁的情況不同,不能直接套用同樣的判斷。

因此,應先核對封鎖規則涵蓋的目錄與網址,再找出哪些頁面連向它們,而不是一看到警告就全面解除封鎖。

不想被索引,不能只靠 Disallow

相關技術討論指出,被封鎖但仍有連結指向的網址,可能繼續出現在搜尋結果,甚至只有網址、沒有描述。因此,「禁止爬取」不等於「保證不收錄」。

若頁面仍需保留,只是不希望出現在搜尋結果,可考慮在頁面加入 noindex 標記,或在 HTTP 回應中透過 X-Robots-Tag 設定 noindex。同時必須讓爬蟲能讀到這項設定;若 robots.txt 仍擋住爬取,爬蟲便無法讀取。若篩選頁本來就需要被搜尋到,則不應把排除索引當成解決方式。

連結價值疑慮值得查,但不代表排名已受損

Screaming Frog 在 2015 年文章中提出:被封鎖的網址仍可能累積 PageRank,但 Google 無法爬取內容、讀取其中的連出連結,因此可能形成 PageRank 傳遞上的「死路」。這是當時文章的分析,不能用來量化目前的排名損失。

可依其建議,檢查有多少網址被封鎖、有多少連結指向它們,以及連結深度。工具的警告也要看情況解讀:該公司在 2022 年說明,將這類項目列為高優先級,是因為錯誤封鎖可能造成重大影響,並非每個警告都代表已有問題。

平台自動產生的連結,要看具體情況

Search Engine Journal 於 2026 年 7 月報導一個 Squarespace 案例:平台自動產生的內部連結指向被封鎖的網址,使用者又無法移除連結。John Mueller 建議忽略該連結,並表示若連結指向的內容不需要被索引,就不必處理。

這項回應不代表所有被封鎖的內部網址都無害,但也提醒我們:工具找到連結,不等於必須刪除。重要的是連結指向的內容是否需要被搜尋到,而非單純把警告數字清零。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

robots.txt 封鎖內部連結的網路各方意見

部落格連到被封鎖的篩選結果,要移除連結嗎?

不一定。這類連結可能是為了讓讀者直接看到特定產品篩選結果,是否保留應先考慮用途。若要調整這些連結,可用 Screaming Frog 找出哪些頁面連向被封鎖的網址,再評估是否移除連結或加上 rel="nofollow"。nofollow 只是給 Google 的提示,不是必須遵守的指令。

篩選頁不想出現在搜尋結果,noindex 要怎麼搭配封鎖?

若篩選頁仍需存在,但不希望被索引,可考慮在頁面加入 noindex,或透過 HTTP 回應設定 X-Robots-Tag。此時不要讓 robots.txt 擋住爬蟲讀取該設定;單靠禁止爬取,已有連結指向的網址仍可能出現在搜尋結果。這個做法適用於確定要排除索引的篩選頁,不適用於希望被搜尋到的頁面。

平台產生的連結無法刪除,是否一定要換平台或修復?

不一定。2026 年報導的 Squarespace 個案中,平台產生的連結指向被封鎖的網址,使用者也無法從後台刪除。John Mueller 建議忽略該連結,前提是連結指向的內容不需要被索引。這是針對該情境的回答,不能據此推論,所有由平台產生且被封鎖的網址都不需檢查。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. Robots.txt & internal filter links blockedwww.warriorforum.com — 討論:部落格連到被封鎖的篩選結果,要移除連結嗎?
  2. How to de-index pages from google using robots.txtwebmasters.stackexchange.com — 討論:篩選頁不想出現在搜尋結果,noindex 要怎麼搭配封鎖?
  3. What is technical SEO? Basics and best practiceswww.semrush.com · 2023-02-01T15:56:00Z — 討論:篩選頁不想出現在搜尋結果,noindex 要怎麼搭配封鎖?
  4. Google Explains Why URLs Blocked By Robots.txt Can Still Be Indexedwww.searchenginejournal.com · 2026-06-17T10:58:48+00:00 — 討論:部落格連到被封鎖的篩選結果,要移除連結嗎?
  5. Screaming Frog SEO Spider Update – Version 5.0www.screamingfrog.co.uk · 2015-09-04T13:41:52+00:00 — 本文論述的參考來源。
  6. Google On SEO Impact Of URLs Injected By CMS Platformswww.searchenginejournal.com · 2026-07-29T00:38:31+00:00 — 討論:平台產生的連結無法刪除,是否一定要換平台或修復?
  7. Screaming Frog SEO Spider Update – Version 17.0www.screamingfrog.co.uk · 2022-08-17T07:33:58+00:00 — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR