限制 AI 爬蟲,可對遵守規則的爬蟲使用 robots.txt;若要拒絕不遵守規則的爬蟲請求,或由使用者觸發的擷取請求,則需要伺服器或網頁應用程式防火牆(WAF)層級的控制。不必一律封鎖:也可限制抓取頻率、只開放部分內容,或要求核准後才能存取。關鍵是先確認允許哪些爬蟲讀取哪些內容,以及如何驗證其身分,而不是只開啟一個「封鎖 AI」開關。
先分清楚用途,避免擋掉想保留的存取
Seer Interactive 在 2026 年更新中指出,同一家供應商可能有不同的機器人,分別用於模型訓練、搜尋索引,以及依使用者要求擷取內容。因此,不想讓內容供訓練使用,與不想出現在 AI 搜尋中,是兩個需要分別處理的目標。
內容也應分級。例如,公開文章與產品介紹可以考慮開放;即時價格、庫存與帳戶資料則需另行評估。Seer 建議先訂立平台或資料協議,再開放敏感資料的存取權。這些建議可作為起點,依網站目標及風險調整,並非所有網站必須遵循的官方規則。
robots.txt 表達限制,WAF 負責攔截請求
兩種方式的作用不同:設定 robots.txt 不代表已強制封鎖存取。Search Engine Journal 在 2026 年 7 月的整理中,區分了願意遵守規則的訓練與搜尋爬蟲,以及需要在伺服器或 WAF 層級處理的擷取請求。
- robots.txt:對遵守該檔案規則的爬蟲設定存取限制;不能據此保證所有自動化請求都會停止。
- WAF:可採允許名單,只放行指定爬蟲;也可採封鎖名單,拒絕不希望進站的爬蟲。
- 伺服器規則:依自動化請求的來源、請求標頭等特徵判斷是否拒絕存取,具體條件需配合網站架構。
企業網站可先檢查既有的 WAF 設定與封鎖名單管理流程,再由基礎架構團隊調整,不宜只修改 SEO 設定就認定限制已生效。
驗證身分,並保留限速與局部開放的選項
User-Agent 是請求宣稱的身分,不代表該身分已經驗證。Seer 提醒,僅依爬蟲名稱決定是否放行,可能讓偽裝者繞過限制;啟用封鎖前,也應將自家及合作夥伴使用的監測、SEO 工具納入允許名單,避免誤擋。
選項不只有允許或拒絕。Search Engine Journal 建議按價值、成本與風險分級處理:
- 價值高於營運負擔:保留存取。
- 價值尚不明、成本也低:持續觀察、限速,或限制可讀取的區域。
- 造成顯著成本、觸及敏感內容,且缺乏價值證據:考慮封鎖。
調整前先查看爬蟲紀錄,調整後持續留意流量是否異常,以及合法工具是否受阻。一次設定不能保證永久有效,因為爬蟲身分、用途與網站需求都可能改變。
AI 爬蟲限制的網路各方意見
Cloudflare 的舊版 AI 爬蟲封鎖設定需要重新檢查嗎?
可以直接封鎖官方公布的爬蟲 IP 清單嗎?
不能把封鎖官方清單上的 IP 當成長期阻止抓取的保證。iThome 的整理建議用清單協助辨識來源,因為清單可能變動,也未必能區分同一供應商的不同爬蟲。Anthropic 也提醒,封鎖其機器人的 IP 未必能持續有效地阻止抓取,還可能使爬蟲無法讀取 robots.txt。
爬蟲更名後,既有封鎖規則會受影響嗎?
會。如果規則寫死了舊的 User-Agent 值,就需要更新,並檢查是否仍能正確追蹤與封鎖爬蟲。Search Engine Journal 於 2026 年 7 月報導,舊值 Google-NotebookLM 僅支援至 2026 年 8 月,文件中的新值為 Google-GeminiNotebook。使用舊值的防火牆或伺服器設定應隨之調整。
現在封鎖訓練爬蟲,就能阻止既有內容被用於訓練嗎?
不能這樣保證。封鎖未來抓取,與處理已保存的內容是不同問題。2026 年的報導提到,出版商對多年內容仍可能留在存檔中、供訓練使用提出疑問;因此,即使已設定封鎖,也不能推論過去收集或存檔的內容已被移除。
參考資料
- Google NotebookLM Rebrand May Expose Your Site To More AI Scrapingwww.searchenginejournal.com · 2026-07-18T10:09:29+00:00 — 討論:爬蟲更名後,既有封鎖規則會受影響嗎?
- Here’s Why You Should (Still) Allow GPTBot to Crawl Your Sitewww.seerinteractive.com · 2026-06-15T00:00:00-05:00 — 本文論述的參考來源。
- Cloudflare 新制下既有 zone 的 AI 自查清單ithelp.ithome.com.tw — 討論:Cloudflare 的舊版 AI 爬蟲封鎖設定需要重新檢查嗎?
- UA 會騙人:用 IP 與 ASN 撕下 AI 爬蟲的偽裝,實測那些冒名頂替的騙子ithelp.ithome.com.tw — 討論:可以直接封鎖官方公布的爬蟲 IP 清單嗎?
- Should I Block AI Crawlers Or Measure Their Value First? – Ask An SEOwww.searchenginejournal.com · 2026-07-02T09:30:54+00:00 — 本文論述的參考來源。
- US Publishers Demand Common Crawl Stop Scraping Their Contentwww.searchenginejournal.com · 2026-06-10T00:45:20+00:00 — 討論:現在封鎖訓練爬蟲,就能阻止既有內容被用於訓練嗎?
- ChatGPT’s Index, GA Benchmarks, Google Refiles Complaint – SEO Pulsewww.searchenginejournal.com · 2026-08-15T12:00:14+00:00 — 討論:Cloudflare 的舊版 AI 爬蟲封鎖設定需要重新檢查嗎?
