常見爬蟲各有什麼用途,網站應如何設定存取規則?

ProcrustesPR

網站不宜把爬蟲一律放行或封鎖,而應先分辨它是用於搜尋索引、模型訓練,還是替使用者即時抓取內容,再決定允許它存取哪些內容,以及如何驗證其身分。同一家公司的不同機器人,用途與控制方式可能不同,也不是所有抓取者都會遵守 robots.txt。以下說明依據 2026 年的資料整理,其中 iThome 文章查閱官方文件的日期為 9 月 6 日;相關規則此後仍可能變動。

ProcrustesPRProcrustesPR有了 AI 回答,SEO 還有必要做嗎?

先按用途分類,不要只看公司名稱

Seer Interactive 的 2026 年更新指出,主要 AI 供應商已使用多種用途不同的爬蟲。辨識時可先掌握以下三類用途,再核對各爬蟲的文件,不能只憑名字判斷:

  • 模型訓練:GPTBot 抓取的網頁可能用於改善未來模型;ClaudeBot 則涉及模型訓練。
  • 搜尋與索引:OAI-SearchBot 用於 ChatGPT 搜尋曝光,Claude-SearchBot 用於提升搜尋結果品質;依 iThome 當時引述的文件,PerplexityBot 用於索引,不用於訓練基礎模型。
  • 使用者觸發:ChatGPT-User、Claude-User 與 Perplexity-User 會在使用者發問或操作後抓取內容,不能與自動訓練爬蟲混為一談。

不過,設定中出現的名稱不一定代表獨立爬蟲。依上述文件整理,Google-Extended 與 Applebot-Extended 是控制內容用途的代碼(token),不是獨立抓取者;Google-Extended 的設定不影響 Google 搜尋曝光。

辨識名稱之後,還要驗證來訪者身分

User-Agent(UA)是請求中自行宣告的身分資訊,可以偽造。看到 GPTBot 字樣,不足以確認請求來自 OpenAI。因此,Seer 建議決定允許誰存取、開放哪些內容時,也要考慮如何驗證身分。

iThome 作者建議,比對 UA 時可使用字串中的局部特徵,但須限定字詞邊界、優先套用比對範圍較小的規則,並考慮大小寫差異。例如,只用過於籠統的 Google 字樣比對,可能把不同機器人歸在一起。這是作者的辨識建議,不是所有平台共同訂定的規範,也不能取代身分驗證。

各爬蟲提供的驗證資料也不盡相同。該文查閱的 Applebot 文件提供 IP 名單與反查方法。實作時應確認名單適用於哪些爬蟲、是否已更新,也不能把社群收錄的名稱一律當成官方已確認的資訊。

按機器人與內容類型設定存取範圍

設定時可先釐清需求。若希望保留 ChatGPT 搜尋曝光,但不希望內容用於訓練 OpenAI 基礎模型,依 iThome 引述的官方說明,可以放行 OAI-SearchBot,同時禁止 GPTBot;兩項設定相互獨立。

內容也應分開評估。Seer 建議按行銷文案、評論、價格與庫存等頁面類型決定存取範圍,而非全站套用同一規則。最後還要留意例外:依 iThome 當時整理,ChatGPT-User 的抓取可能不適用 robots.txt,Perplexity-User 通常會忽略它。因此,寫入拒絕規則不代表已阻止所有存取。

ProcrustesPRProcrustesPR什麼是 AI 曝光?要怎麼看?

爬蟲存取規則:網路各方觀點

搜尋爬蟲遇到 401 錯誤,該怎麼檢查?

401 表示請求未獲授權,可能與密碼保護、IP 限制或爬蟲專屬設定有關。若頁面原本就不打算公開,應先確認驗證設定符合目的;若希望搜尋引擎存取,則可測試頁面、檢查 IP 與使用者代理程式規則。排除非預期限制後,可在 Google Search Console 要求重新檢索。

robots.txt 對所有 Google 抓取者都有效嗎?

不能一概而論。依 iThome 作者於 2026 年 9 月 6 日查閱的文件整理,Google 區分一般爬蟲、特殊用途爬蟲及使用者觸發的抓取者;其中 Google-Safety 會忽略 robots.txt,使用者觸發的抓取通常也會忽略。設定前應核對個別抓取者的最新說明,不能假設同公司產品都適用相同規則。

想降低爬取頻率,可以只靠封鎖 IP 嗎?

不建議只靠 IP 封鎖來降低爬取頻率。依 iThome 查閱的 Anthropic 文件,該公司支援 Crawl-delay 指令,並提醒 IP 封鎖不一定能準確或持續地阻擋爬蟲。這項說明僅針對 Anthropic,不能據此推定其他供應商也支援相同指令。

使用官方 IP 名單驗證爬蟲,還有哪些限制?

名單的適用對象和更新狀態可能不同,不能拿一份清單驗證所有爬蟲。iThome 作者在 2026 年 9 月 6 日查核時,所檢視的多家 AI 供應商專用名單只有 IPv4,Google 通用爬蟲名單則含 IPv6;因此有 IPv6 的網站若只依賴前述專用名單,驗證會有盲區。這是當日快照,實作前仍應核對最新資料。

ProcrustesPR資料品質與網站支援代理式網路的準備程度有何關係?

參考資料

  1. Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:搜尋爬蟲遇到 401 錯誤,該怎麼檢查?
  2. AI 爬蟲圖鑑:GPTBot、ClaudeBot、PerplexityBot 等等,認清那些半夜敲門的陌生人ithelp.ithome.com.tw — 討論:robots.txt 對所有 Google 抓取者都有效嗎?;想降低爬取頻率,可以只靠封鎖 IP 嗎?
  3. Here’s Why You Should (Still) Allow GPTBot to Crawl Your Sitewww.seerinteractive.com · 2026-06-15T00:00:00-05:00 — 本文論述的參考來源。

更多相關討論

有了 AI 回答,SEO 還有必要做嗎?什麼是 AI 曝光?要怎麼看?資料品質與網站支援代理式網路的準備程度有何關係?AI 會如何改變 SEO 工作與搜尋流量?什麼是全方位搜尋優化,為何需要它?出版商為何需要 SEO,AI 又帶來哪些挑戰?哪些 SEO 最佳實務最重要?AI 搜尋與電商的適用方式自然搜尋在 B2B 與 AI 搜尋中扮演什麼角色?
ProcrustesPR
ProcrustesPR