讓爬蟲與一般訪客看到不同內容有何風險及替代方式?

ProcrustesPR

讓爬蟲看到可索引的內容,卻讓一般訪客看到另一套內容、登入牆,或將訪客轉往別處,主要風險是被視為隱藏真實內容(cloaking)。所提供的社群回答與文章指出,這可能影響搜尋表現,甚至導致頁面被移出索引,但不能據此斷言每個個案都會受罰。替代方向是公開雙方都能閱讀的介紹或試閱內容;若目的是做 A/B 測試,則不要專門給搜尋引擎另一套偽裝版本。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

除了搜尋表現,也要留意爬蟲辨識與存取控制

Webmasters Stack Exchange 的回答將「搜尋引擎看一套、使用者看另一套」稱為 cloaking,並引述當時的 Google 說明,指出網站可能因被認為具有欺騙性而遭移出索引。這是風險提醒,不能當成已核實的現行處置流程,也不表示所有內容差異都會導致相同後果。

另一則回答從技術角度提醒,用來區分機器人與未參與測試的使用者的方法,可能被操弄或濫用。因此,即使能辨識爬蟲,也不代表能可靠地控制誰可以存取內容。iThome 的文章也警告,利用 noscript 或隱藏的 DOM 元素,專門向爬蟲提供另一份內容,可能被視為 cloaking。判斷重點在於為何提供不同內容,不能只憑標籤名稱就認定違規。

完整內容需要登入時,提供雙方都能閱讀的公開內容

若完整內容必須放在登入牆內,前述 Webmasters Stack Exchange 回答建議,不要只放行爬蟲,而是在牆外提供對訪客與搜尋引擎都有用的內容。若網站尚未公開,也可以等正式上線後再開放爬取:

  • 公開產品或服務介紹,讓訪客能理解網站提供什麼。
  • 提供部分內容作為試閱或示範,而非只讓爬蟲取得全文。
  • 若仍處於封閉測試,接受暫不被爬取,等正式公開後再開放。

例如,會員內容可以先公開一段試閱,讓從搜尋結果進站的訪客實際讀到這段文字,完整版本仍需登入。這只是上述建議的應用示例;所提供的材料並未證明它能提高排名,它也不是適用於所有付費內容網站的官方規則。

A/B 測試要管理版本,不要替爬蟲偽裝內容

Search Engine Journal 在 2026 年 7 月的文章指出,測試從搜尋結果進站的訪客看到的頁面時,也應讓 Google 看到相同內容,不要只因為對方是搜尋引擎,就提供另一套版本。文章另提到,不同網址的測試版本可使用 rel=”canonical” 提示偏好的版本;隨機將訪客重新導向測試頁時,應使用表示暫時移動的 302,而非表示永久移動的 301。

這些建議適用於測試情境,不代表 A/B 測試可以豁免 cloaking 的相關風險。該文也提醒不要讓測試拖得過久,但所提供的片段並未包含對一年期測試的完整答覆,因此不能據此推算安全期限。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

主題的網路各方意見

如何檢查搜尋引擎是否看不到頁面元素?

可以比較搜尋引擎取得的頁面與訪客實際看到的內容,留意圖片、CSS 或 JavaScript 等元素是否遭封鎖。2015 年的文章曾以「Fetch and Render」比較兩者的頁面影像,作為排查差異的方式;這是歷史工具說明,不能據此認定該功能現在仍以相同名稱或方式提供。

搜尋結果導向訪客無法閱讀的內容,有什麼問題?

一則社群意見認為,許多搜尋引擎可能不喜歡收錄一般使用者無法存取的結果,因為這類結果對訪客缺乏價值。這是對搜尋體驗的判斷,並非已證實所有搜尋引擎都採用的規則,也不能單憑登入限制就斷定頁面一定會被移除。

曾有「首次點擊免費」的說法,現在還能直接採用嗎?

不能只憑這些舊討論,就認定現在仍可直接採用。一則舊社群回答引用 2008 年的「首次點擊免費」說明,認為要求使用者登入、同時允許搜尋引擎索引內容,不一定出於欺騙意圖。另一則回答則警告,讓搜尋引擎與使用者看到不同內容,可能被視為欺騙。前者屬於歷史討論,不能當成現行規則或許可。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How can I allow search engines to index my invite only website in ruby on rails?webmasters.stackexchange.com — 討論:曾有「首次點擊免費」的說法,現在還能直接採用嗎?
  2. How can I allow search engines to index my invite only website in ruby on rails?webmasters.stackexchange.com — 本文論述的參考來源。
  3. Google’s Fetch and Render: Why It’s Importantwww.semrush.com · 2015-04-20T15:15:39Z — 討論:如何檢查搜尋引擎是否看不到頁面元素?
  4. Google Says No SEO Penalty For Year-Long A/B Tests?www.searchenginejournal.com · 2026-07-15T12:33:03+00:00 — 本文論述的參考來源。
  5. Day 26|Flutter Web 的 SEO 困境:爬蟲看到的是什麼ithelp.ithome.com.tw — 本文論述的參考來源。
  6. How can I allow search engines to index my invite only website in ruby on rails?webmasters.stackexchange.com — 討論:搜尋結果導向訪客無法閱讀的內容,有什麼問題?
  7. Hide content behind login screen but show to search engineswebmasters.stackexchange.com — 討論:曾有「首次點擊免費」的說法,現在還能直接採用嗎?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR