網站不宜把爬蟲一律放行或封鎖,而應先分辨它是用於搜尋索引、模型訓練,還是替使用者即時抓取內容,再決定允許它存取哪些內容,以及如何驗證其身分。同一家公司的不同機器人,用途與控制方式可能不同,也不是所有抓取者都會遵守 robots.txt。以下說明依據 2026 年的資料整理,其中 iThome 文章查閱官方文件的日期為 9 月 6 日;相關規則此後仍可能變動。
先按用途分類,不要只看公司名稱
Seer Interactive 的 2026 年更新指出,主要 AI 供應商已使用多種用途不同的爬蟲。辨識時可先掌握以下三類用途,再核對各爬蟲的文件,不能只憑名字判斷:
- 模型訓練:GPTBot 抓取的網頁可能用於改善未來模型;ClaudeBot 則涉及模型訓練。
- 搜尋與索引:OAI-SearchBot 用於 ChatGPT 搜尋曝光,Claude-SearchBot 用於提升搜尋結果品質;依 iThome 當時引述的文件,PerplexityBot 用於索引,不用於訓練基礎模型。
- 使用者觸發:ChatGPT-User、Claude-User 與 Perplexity-User 會在使用者發問或操作後抓取內容,不能與自動訓練爬蟲混為一談。
不過,設定中出現的名稱不一定代表獨立爬蟲。依上述文件整理,Google-Extended 與 Applebot-Extended 是控制內容用途的代碼(token),不是獨立抓取者;Google-Extended 的設定不影響 Google 搜尋曝光。
辨識名稱之後,還要驗證來訪者身分
User-Agent(UA)是請求中自行宣告的身分資訊,可以偽造。看到 GPTBot 字樣,不足以確認請求來自 OpenAI。因此,Seer 建議決定允許誰存取、開放哪些內容時,也要考慮如何驗證身分。
iThome 作者建議,比對 UA 時可使用字串中的局部特徵,但須限定字詞邊界、優先套用比對範圍較小的規則,並考慮大小寫差異。例如,只用過於籠統的 Google 字樣比對,可能把不同機器人歸在一起。這是作者的辨識建議,不是所有平台共同訂定的規範,也不能取代身分驗證。
各爬蟲提供的驗證資料也不盡相同。該文查閱的 Applebot 文件提供 IP 名單與反查方法。實作時應確認名單適用於哪些爬蟲、是否已更新,也不能把社群收錄的名稱一律當成官方已確認的資訊。
按機器人與內容類型設定存取範圍
設定時可先釐清需求。若希望保留 ChatGPT 搜尋曝光,但不希望內容用於訓練 OpenAI 基礎模型,依 iThome 引述的官方說明,可以放行 OAI-SearchBot,同時禁止 GPTBot;兩項設定相互獨立。
內容也應分開評估。Seer 建議按行銷文案、評論、價格與庫存等頁面類型決定存取範圍,而非全站套用同一規則。最後還要留意例外:依 iThome 當時整理,ChatGPT-User 的抓取可能不適用 robots.txt,Perplexity-User 通常會忽略它。因此,寫入拒絕規則不代表已阻止所有存取。
爬蟲存取規則:網路各方觀點
搜尋爬蟲遇到 401 錯誤,該怎麼檢查?
401 表示請求未獲授權,可能與密碼保護、IP 限制或爬蟲專屬設定有關。若頁面原本就不打算公開,應先確認驗證設定符合目的;若希望搜尋引擎存取,則可測試頁面、檢查 IP 與使用者代理程式規則。排除非預期限制後,可在 Google Search Console 要求重新檢索。
robots.txt 對所有 Google 抓取者都有效嗎?
不能一概而論。依 iThome 作者於 2026 年 9 月 6 日查閱的文件整理,Google 區分一般爬蟲、特殊用途爬蟲及使用者觸發的抓取者;其中 Google-Safety 會忽略 robots.txt,使用者觸發的抓取通常也會忽略。設定前應核對個別抓取者的最新說明,不能假設同公司產品都適用相同規則。
想降低爬取頻率,可以只靠封鎖 IP 嗎?
不建議只靠 IP 封鎖來降低爬取頻率。依 iThome 查閱的 Anthropic 文件,該公司支援 Crawl-delay 指令,並提醒 IP 封鎖不一定能準確或持續地阻擋爬蟲。這項說明僅針對 Anthropic,不能據此推定其他供應商也支援相同指令。
使用官方 IP 名單驗證爬蟲,還有哪些限制?
名單的適用對象和更新狀態可能不同,不能拿一份清單驗證所有爬蟲。iThome 作者在 2026 年 9 月 6 日查核時,所檢視的多家 AI 供應商專用名單只有 IPv4,Google 通用爬蟲名單則含 IPv6;因此有 IPv6 的網站若只依賴前述專用名單,驗證會有盲區。這是當日快照,實作前仍應核對最新資料。
參考資料
- Google Search Console Errors: Identifying and Fixing Themwww.semrush.com · 2024-03-20T10:51:00Z — 討論:搜尋爬蟲遇到 401 錯誤,該怎麼檢查?
- AI 爬蟲圖鑑:GPTBot、ClaudeBot、PerplexityBot 等等,認清那些半夜敲門的陌生人ithelp.ithome.com.tw — 討論:robots.txt 對所有 Google 抓取者都有效嗎?;想降低爬取頻率,可以只靠封鎖 IP 嗎?
- Here’s Why You Should (Still) Allow GPTBot to Crawl Your Sitewww.seerinteractive.com · 2026-06-15T00:00:00-05:00 — 本文論述的參考來源。
