如何限制或驗證 Googlebot?

ProcrustesPR

驗證 Googlebot,不能只看請求標頭中的 User-Agent;Google 官方建議針對來源 IP 進行反向 DNS 查詢,或比對 Googlebot IP 範圍。限制存取前,要先分清目的:不讓它檢索,用 robots.txt;不讓網頁進入搜尋索引,用 noindex;要防止未授權者讀取內容,則採用密碼保護等存取控制。這三種做法不能互相替代,尤其禁止檢索不代表網址一定不會出現在搜尋結果。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先確認來源,別只憑名稱封鎖

Google 官方提醒,其他檢索器經常假冒 Googlebot 的 HTTP User-Agent。因此,看到紀錄寫著 Googlebot,不足以認定請求來自 Google。決定封鎖可疑流量前,應先驗證請求來源:

  • 針對請求的來源 IP,使用反向 DNS 查詢驗證。
  • 或將來源 IP 與 Googlebot IP 範圍比對。

封鎖 Googlebot 的影響不只在於阻止爬蟲讀取單一頁面,因此事先驗證很重要。官方指出,封鎖會影響 Google 搜尋,包括探索與各項搜尋功能,以及圖片、影片、新聞等產品。

檢索、索引與保密,要分別處理

選擇限制方式時,應先確認希望達成的結果,而不是把所有需求都交給 robots.txt:

  • 禁止檢索:使用 robots.txt,指示 Googlebot 不要檢索指定內容;但網址仍可能出現在搜尋結果。
  • 禁止索引:使用 noindex,控制的是網頁是否被編入索引,而非誰有權讀取內容。
  • 限制存取:使用密碼保護等方法,讓內容只供獲授權者讀取,而不只是對檢索器提出要求。

「不公開連結」也不是可靠的保密方式。官方文件指出,使用者從秘密網站點擊連結前往其他網站時,來源網址可能出現在參照資訊中,被對方記錄甚至發布。

限制影片存取,也能允許 Googlebot 檢索

若想防止他人存取影片,同時允許 Google 檢索,Google 的影片 Sitemap 文件建議驗證 Googlebot。這項建議針對的是影片內容與播放器網址,不代表只要提交 Sitemap,Google 就能繞過網站的限制。

該文件要求,影片 Sitemap 參照的檔案必須可供 Googlebot 存取,不能被 robots.txt 或防火牆封鎖,也不能要求 Googlebot 登入。因此,設定存取限制時,仍須允許 Googlebot 檢索這些檔案。

封鎖資源前,確認頁面仍能載入

Search Engine Journal 在 2026 年 11 月報導了 Mueller 對年齡驗證彈窗的說明:透過 robots.txt 封鎖相關嵌入資源後,Googlebot 不會擷取該資源,也不會用它算繪頁面。不過,網站必須在缺少該資源時仍能正常載入。

這項說明有明確的適用條件,不代表任意封鎖 JavaScript 都安全。若單一 JavaScript 檔案同時負責許多功能,Mueller 不建議封鎖整個檔案。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

限制與驗證 Googlebot:常見問答

Search Console 出現 401,該檢查什麼?

401 表示要求未獲授權。若原本希望 Googlebot 能存取該頁,應檢查頁面是否要求登入、IP 存取限制是否擋住 Googlebot,以及針對檢索器的設定是否有誤,再測試存取情況。若頁面本來就只供授權者使用,則應先確認這項限制是否符合原意,不必僅因出現 401 就取消保護。

已被 Google 索引的私人頁面,加上密碼後會怎樣?

如果確實要限制一般使用者與檢索器存取,密碼保護可讓頁面只供授權使用者查看,同時阻止 Googlebot 存取。Semrush 指出,若頁面先前已被索引,Google 最終會將它從搜尋結果移除。不過,這項說明未提供移除所需時間,因此不宜假設加上密碼保護後,頁面就會立即從搜尋結果消失。

驗證線索沒有對上,就能判定是假冒 Googlebot 嗎?

不宜只憑單一不吻合的線索,就認定請求是假冒 Googlebot。Google 建議對來源 IP 進行反向 DNS 查詢,或比對 Googlebot IP 範圍。iThome 討論爬蟲驗證時則提醒,名單抓取失敗或 DNS 逾時應視為結果未知;未能確認身分,不等於假冒。ASN 可作側面佐證,但不能單獨證明身分。不同的驗證線索宜分開記錄。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 影片 Sitemap 和範例 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  2. Googlebot 簡介 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:驗證線索沒有對上,就能判定是假冒 Googlebot 嗎?
  3. Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:Search Console 出現 401,該檢查什麼?
  4. Google Says It’s Okay To Block Some JavaScript Resources With Robots.txtwww.searchenginejournal.com · 2026-11-03T11:16:50+00:00 — 本文論述的參考來源。
  5. UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:驗證線索沒有對上,就能判定是假冒 Googlebot 嗎?
  6. What Is Googlebot? How Google's Web Crawler Workswww.semrush.com · 2024-08-23T14:32:00Z — 討論:已被 Google 索引的私人頁面,加上密碼後會怎樣?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR