如何驗證爬蟲身分並執行存取政策?

ProcrustesPR

驗證爬蟲不能只看 User-Agent 名稱;應依供應商提供的驗證方式,比對官方 IP 清單,或完成反向與正向 DNS 查核,再根據結果決定是否允許存取。查無符合資料、無法完成查核與已確認身分,必須分開處理;未能確認身分不等於冒名。執行政策時,先檢查實際流量、保留必要工具的存取權,再分階段調整並監測是否誤封。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

先讀日誌,別把自稱當成證明

User-Agent 是請求方自行填寫的字串,可用來分類,但不足以證明身分。例如,請求即使自稱 GPTBot,仍須檢查來源,不能直接認定來自 OpenAI。Seer Interactive 在 2026 年的文章建議,修改政策前先讀爬蟲日誌,確認實際有哪些爬蟲造訪,以及現行規則是否符合網站原本打算開放的範圍。

IP 與 DNS 要查什麼?

官方 IP 清單可用來比對請求來源,但各供應商提供的驗證方式與清單詳細程度不同。若使用正反向 DNS 驗證(FCrDNS),查核步驟如下:

  1. 對來源 IP 做 PTR 反向查詢,取得主機名稱。
  2. 確認主機名稱屬於供應商公開指定的驗證網域。
  3. 對該主機名稱做正向查詢,確認解析結果包含原始 IP。

比對網域時,必須確認完整名稱,而非只看是否包含相同字樣:evil-googlebot.com 不是 googlebot.com,x.googlebot.com.attacker.net 也不屬於 googlebot.com。反向查詢得到的名稱相似並不足以證明身分,也不能從 IP 清單自行猜測供應商的 PTR 網域。ASN 可提供網路歸屬的線索,但不能單獨證明爬蟲屬於哪家公司。

未確認不等於偽造

iThome 刊載的一篇技術文章提出三種查核狀態,避免在證據不足時就判定爬蟲冒名。這是該文作者的方法,不是所有平台通用的官方規則:

  • 已驗證:已完成相關查核,且結果符合驗證條件。
  • 未確認:已完成查核,但結果與現有資料不符。
  • 未知:清單抓取失敗、DNS 逾時,或沒有可用的驗證方式。

位址不在清單上,只能說該份清單未列出它,不能據此判定冒名。IP、DNS 與 ASN 的線索宜分開保留,以便在結果不一致時繼續追查。

根據身分查核結果制定存取規則

確認來源後,仍要決定哪些內容可以開放。Seer 建議分階段開放行銷內容、產品描述與評論;價格、庫存及帳戶資料則應另行評估,透過明確協議限制存取,而非只憑爬蟲名稱放行。

封鎖未表明身分的機器人之前,先將自家與合作夥伴使用的必要 SEO 工具及網站監控工具 IP 加入允許清單。

調整後,持續檢查各來源的流量是否意外下滑,排查合法工具遭誤封的可能。同時,指定一位負責人,協調 IT、商品管理與法律部門的決策。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

爬蟲身分驗證與存取政策的網路各方意見

Search Console 出現 401 時,應如何排查爬蟲存取?

先確認頁面是否本就需要登入,再檢查驗證設定,以及伺服器的 IP 封鎖和 User-Agent 存取規則是否符合網站意圖。可手動測試受影響頁面,找出限制發生的位置;若原本打算讓 Googlebot 存取,修正後可透過 Search Console 要求重新檢索。401 也可能來自刻意設定的保護,不能一律當成錯誤放行。

AMP 與非 AMP 頁面需要套用相同的爬蟲政策嗎?

Google 的付費牆內容說明建議,AMP 與非 AMP 網頁採用相同的漫遊器存取政策,否則 Search Console 可能出現內容不一致錯誤。若使用 AMP 付費牆,也應確認授權端點會依發布者的安排,將內容存取權授予 Google 及其他服務供應商的對應漫遊器。

能直接封鎖官方 IP 清單來禁止爬蟲抓取嗎?

不宜把官方 IP 清單直接當作可靠的退出抓取機制。iThome 技術文章指出,封鎖 IP 可能讓爬蟲連 robots.txt 都無法讀取;Anthropic 的說明也提醒,以封鎖其機器人 IP 等替代方式,未必能正確或持續保證退出。清單較適合用於識別來源,實際限制仍須參考各供應商的政策與驗證方式。

修改 robots.txt 後,多久可以檢查爬蟲是否遵守?

可先等待至少 24 小時再檢查,但這不是所有供應商都保證的生效期限。所引文章轉述 OpenAI 的說明,搜尋結果相關的系統調整約需 24 小時;該文作者則未在查閱的 Anthropic 文件中找到變更生效所需的時間。檢查時,不只要看爬蟲是否避開禁止抓取的頁面,也要確認同一系統在相近條件下能否成功抓取允許的頁面,避免把抓取失敗誤認為遵守規則。

受管理的機器人驗證能補足單靠名稱辨識的問題嗎?

可以提供額外的辨識依據,但名稱吻合不代表身分已確認。Seer Interactive 說明,託管式機器人驗證服務可結合已驗證機器人清單與行為評分,協助辨識冒充者。Web Bot Auth 則以密碼學簽章證明身分;該文將它描述為仍處於早期階段的方式,因此不能假定所有爬蟲或平台都已支援。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 訂閱和付費牆內容標記 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:AMP 與非 AMP 頁面需要套用相同的爬蟲政策嗎?
  2. Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:Search Console 出現 401 時,應如何排查爬蟲存取?
  3. Here’s Why You Should (Still) Allow GPTBot to Crawl Your Sitewww.seerinteractive.com · 2026-06-15T00:00:00-05:00 — 討論:受管理的機器人驗證能補足單靠名稱辨識的問題嗎?
  4. UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:能直接封鎖官方 IP 清單來禁止爬蟲抓取嗎?
  5. robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 討論:修改 robots.txt 後,多久可以檢查爬蟲是否遵守?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR