驗證 Googlebot,不能只看請求標頭中的 User-Agent;Google 官方建議針對來源 IP 進行反向 DNS 查詢,或比對 Googlebot IP 範圍。限制存取前,要先分清目的:不讓它檢索,用 robots.txt;不讓網頁進入搜尋索引,用 noindex;要防止未授權者讀取內容,則採用密碼保護等存取控制。這三種做法不能互相替代,尤其禁止檢索不代表網址一定不會出現在搜尋結果。
先確認來源,別只憑名稱封鎖
Google 官方提醒,其他檢索器經常假冒 Googlebot 的 HTTP User-Agent。因此,看到紀錄寫著 Googlebot,不足以認定請求來自 Google。決定封鎖可疑流量前,應先驗證請求來源:
- 針對請求的來源 IP,使用反向 DNS 查詢驗證。
- 或將來源 IP 與 Googlebot IP 範圍比對。
封鎖 Googlebot 的影響不只在於阻止爬蟲讀取單一頁面,因此事先驗證很重要。官方指出,封鎖會影響 Google 搜尋,包括探索與各項搜尋功能,以及圖片、影片、新聞等產品。
檢索、索引與保密,要分別處理
選擇限制方式時,應先確認希望達成的結果,而不是把所有需求都交給 robots.txt:
- 禁止檢索:使用 robots.txt,指示 Googlebot 不要檢索指定內容;但網址仍可能出現在搜尋結果。
- 禁止索引:使用 noindex,控制的是網頁是否被編入索引,而非誰有權讀取內容。
- 限制存取:使用密碼保護等方法,讓內容只供獲授權者讀取,而不只是對檢索器提出要求。
「不公開連結」也不是可靠的保密方式。官方文件指出,使用者從秘密網站點擊連結前往其他網站時,來源網址可能出現在參照資訊中,被對方記錄甚至發布。
限制影片存取,也能允許 Googlebot 檢索
若想防止他人存取影片,同時允許 Google 檢索,Google 的影片 Sitemap 文件建議驗證 Googlebot。這項建議針對的是影片內容與播放器網址,不代表只要提交 Sitemap,Google 就能繞過網站的限制。
該文件要求,影片 Sitemap 參照的檔案必須可供 Googlebot 存取,不能被 robots.txt 或防火牆封鎖,也不能要求 Googlebot 登入。因此,設定存取限制時,仍須允許 Googlebot 檢索這些檔案。
封鎖資源前,確認頁面仍能載入
Search Engine Journal 在 2026 年 11 月報導了 Mueller 對年齡驗證彈窗的說明:透過 robots.txt 封鎖相關嵌入資源後,Googlebot 不會擷取該資源,也不會用它算繪頁面。不過,網站必須在缺少該資源時仍能正常載入。
這項說明有明確的適用條件,不代表任意封鎖 JavaScript 都安全。若單一 JavaScript 檔案同時負責許多功能,Mueller 不建議封鎖整個檔案。
限制與驗證 Googlebot:常見問答
Search Console 出現 401,該檢查什麼?
401 表示要求未獲授權。若原本希望 Googlebot 能存取該頁,應檢查頁面是否要求登入、IP 存取限制是否擋住 Googlebot,以及針對檢索器的設定是否有誤,再測試存取情況。若頁面本來就只供授權者使用,則應先確認這項限制是否符合原意,不必僅因出現 401 就取消保護。
已被 Google 索引的私人頁面,加上密碼後會怎樣?
如果確實要限制一般使用者與檢索器存取,密碼保護可讓頁面只供授權使用者查看,同時阻止 Googlebot 存取。Semrush 指出,若頁面先前已被索引,Google 最終會將它從搜尋結果移除。不過,這項說明未提供移除所需時間,因此不宜假設加上密碼保護後,頁面就會立即從搜尋結果消失。
參考資料
- 影片 Sitemap 和範例 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 本文論述的參考來源。
- Googlebot 簡介 | Google 搜尋中心 | Documentation | Google for Developersdevelopers.google.com — 討論:驗證線索沒有對上,就能判定是假冒 Googlebot 嗎?
- Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:Search Console 出現 401,該檢查什麼?
- Google Says It’s Okay To Block Some JavaScript Resources With Robots.txtwww.searchenginejournal.com · 2026-11-03T11:16:50+00:00 — 本文論述的參考來源。
- UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:驗證線索沒有對上,就能判定是假冒 Googlebot 嗎?
- What Is Googlebot? How Google's Web Crawler Workswww.semrush.com · 2024-08-23T14:32:00Z — 討論:已被 Google 索引的私人頁面,加上密碼後會怎樣?



