可以只用其中一種,取決於你是希望機器人遵守爬取限制,還是需要伺服器直接拒絕存取。對守規則的機器人,robots.txt 可能足夠;若對方忽略規則,就不能只依賴它。.htaccess 則可在伺服器端限制存取,並非只處理「內部存取」。兩者可以搭配使用,分別告知機器人爬取限制,以及由伺服器拒絕存取,但不保證能擋住所有機器人。
robots.txt 是否有效,取決於機器人是否遵守
Webmasters Stack Exchange 的討論認為,如果機器人會遵守網站設定的規則,單用 robots.txt 應該就夠了。關鍵是機器人必須遵守規則;robots.txt 並不能阻止所有機器人進站。
Warrior Forum 的一位參與者指出,有些機器人會忽略這個檔案。Ahrefs 作者 Patrick Stox 在 2025 年 5 月的文章中,也提到已有少數 AI 機器人無視 robots.txt 封鎖的報導。這些報導描述的是當時的部分情況,不代表所有 AI 機器人都不遵守,也不能視為現行的平台規則。
.htaccess 在伺服器端執行,不代表只限制內部存取
「伺服器端」指的是規則執行的位置,不是說它只能限制內部人員的存取。論壇討論提到,可以單用 .htaccess 封鎖機器人。另有參與者表示,自己在虛擬主機設定檔中使用拒絕存取的規則,並指出 .htaccess 也可採用這類做法。這些規則也能用來處理外部機器人送來的請求。
另一個差異是外界能否查看檔案:robots.txt 可公開查看,.htaccess 則屬於伺服器端設定。不過,論壇中「任何人都讀不到」的說法,不應被當成無條件的安全保證。另有 Apache 與 Nginx 範例示範如何依使用者代理識別機器人,但提供者明說尚未測試,因此不能直接當成設定教學套用。
只用一種或搭配使用,取決於你的需求
- 只需告知守規則的機器人爬取限制:可考慮只用 robots.txt,前提是對方確實遵守。
- 需要伺服器拒絕特定請求:可考慮 .htaccess,但必須確認規則在自己的環境中有效,不能只因檔案存在就認定封鎖成功。
- 兩種需求都有:可搭配使用。例如先在 robots.txt 中列出爬取限制,再針對仍持續送出請求的對象,設定伺服器端拒絕存取的規則。
至於要封鎖哪些對象,有論壇參與者只封鎖伺服器紀錄中實際出現的使用者代理,而非直接套用整份網路名單。這是個別實務經驗,不是官方要求,也不足以證明這種做法能辨識並封鎖所有機器人。
封鎖機器人的網路各方意見
要封鎖哪些機器人,是否應直接套用網路上的完整名單?
不必直接套用完整名單。可參考一位論壇參與者的做法:只封鎖伺服器紀錄中實際出現的使用者代理,並在虛擬主機設定檔中設定相關規則。不過,這是個人做法,不是官方要求;這段分享也不足以證明該做法能辨識或擋住所有機器人。
兩種方式都用了,為什麼請求可能還是持續出現?
僅憑這則論壇個案,無法確定原因。發問者反映,使用兩種方式後,疑似來自 Bing/MSN 機器人的大量請求似乎仍未停止。但討論沒有確認請求來源、規則內容或封鎖未奏效的原因,因此無法判定是哪一種設定出錯,也不能推論兩種方式一律無效。
參考資料
- Blocking bots with htaccss and robots.txt fileswww.warriorforum.com — 本文論述的參考來源。
- How can I clone or mirror a site without SEO penalties for duplicate content?webmasters.stackexchange.com — 本文論述的參考來源。
- The AI Bots That ~140 Million Websites Block the Mostahrefs.com · 2025-05-21T09:30:00+00:00 — 本文論述的參考來源。
- If I want to block third party bots to crawl my website, what I have to do?www.warriorforum.com — 本文論述的參考來源。
- If I want to block third party bots to crawl my website, what I have to do?www.warriorforum.com — 討論:要封鎖哪些機器人,是否應直接套用網路上的完整名單?
- Help! Bing/msn bot using huge load of my serverwww.warriorforum.com — 討論:兩種方式都用了,為什麼請求可能還是持續出現?




