Googlebot 如何處理大小寫?網址、標籤與指令分別看

ProcrustesPR

Google 搜尋會區分網址路徑的大小寫,但不能把這項規則套到所有標記與指令。依 Google 官方文件的網址處理原則,/Default.aspx?p=2 與 /default.aspx?p=2 應視為不同網址;伺服器是否回傳同一份內容,是另一件事。hreflang 的值則不區分大小寫。因此,判斷大小寫是否有影響前,要先分清楚處理的是網址路徑、標記中的值,還是 robots.txt 要比對的爬蟲名稱或路徑。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

路徑大小寫不同,就視為不同網址

Google 官方文件以 /APPLE 與 /apple 為例,說明兩者會被視為不同網址,各自有其內容。因此,即使在瀏覽器開啟兩種寫法都看到相同頁面,也不代表 Google 會自動把它們當成同一個網址。

  • 若伺服器忽略大小寫差異,Google 官方建議網址統一採用大寫或小寫,協助 Google 判斷是否指向同一頁。
  • 若兩種寫法回傳不同內容,就不能只為了統一格式而假定它們可以合併。
  • 參數要另外檢查。Semrush 介紹網址參數的文章指出,許多系統可能將 ?Color=Blue 與 ?color=blue 視為不同參數,但並非所有系統都如此。

標記中的值,要看個別規則

Google 的 hreflang 文件說明,語言與地區代碼不區分大小寫,但地區代碼依慣例採大寫,例如 en-GB。不區分大小寫,不代表任何代碼都有效:只填地區代碼無效,UK 也不能取代正式地區代碼 GB。

2020 年刊出的 Semrush 文章則說明,在 meta robots 標籤中,name 用來指定適用的爬蟲,content 用來放置指令,兩者的值都不區分大小寫。例如,name 的值可寫成 robots、ROBOTS 或 Robots。這是針對特定標籤的說明,不代表所有 HTML 屬性值或 JavaScript 名稱都不分大小寫。

robots.txt 要分開看爬蟲名稱與路徑

iThome 的文章引述 RFC 9309:比對爬蟲的產品識別字串時,必須不分大小寫;比對路徑時,則應區分大小寫。「必須」與「應」的要求強度不同,也不能因為比對爬蟲名稱時可忽略大小寫,就推定 Disallow: /Private 也涵蓋 /private。這是對標準條文的轉述,並非直接驗證 Googlebot 目前如何處理。

百分比編碼測試不能推翻一般路徑規則

Screaming Frog 在 2017 年測試了使用原始 UTF-8、大寫百分比編碼與小寫百分比編碼的禁止規則。在一週內,只有未被禁止的頁面出現請求紀錄,與當時測試工具的結果不同。這只是該次測試的觀察,不能證明今日 Googlebot 對所有編碼寫法都採取相同處理,更不能據此認定 /Default.aspx 與 /default.aspx 沒有差別。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

Googlebot 如何處理大小寫的網路各方意見

大小寫不同的網址都顯示相同內容,可以怎麼整理?

如果確認兩個路徑只是同一內容的替代版本,可以考慮用 rel=canonical 指定偏好的版本;Google 也建議在伺服器忽略網址文字大小寫時,統一採用大寫或小寫。若兩個網址實際提供不同內容,就不應僅因大小寫相似而假定它們是同一頁。

網址參數的大小寫也需要統一嗎?

值得先確認網站如何處理參數:Semrush 指出,許多系統可能把 ?Color=Blue 和 ?color=blue 視為不同參數值。若這些寫法只是同一內容的變體,可在實作時統一大小寫,並考慮以 canonical 整合既有變體;若會產生不同內容,則不能直接當成重複頁面。

HTML 標籤使用大寫或小寫,會影響 SEO 嗎?

一則公開討論認為,只要正確使用 HTML,標籤及其屬性的大小寫就不影響 SEO;但是否影響 HTML 驗證,仍取決於所選的文件類型。這個看法針對的是標籤寫法,不代表所有屬性值都可任意更改大小寫,也不代表 JavaScript 名稱在程式執行時不區分大小寫。

可以靠 meta robots 標籤保護不想公開的頁面嗎?

不應把它當作安全措施。Semrush 指出,meta robots 的 name 用來指定適用的爬蟲,content 放置指令,但不是所有機器人都會遵守。即使指令值的大小寫不影響辨識,也不能因此保證頁面不會被存取。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. 網頁本地化版本 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 本文論述的參考來源。
  2. Google 搜尋的網址結構最佳做法 | Google 搜尋中心  |  Documentation  |  Google for Developersdevelopers.google.com — 討論:大小寫不同的網址都顯示相同內容,可以怎麼整理?
  3. Do search engines care about case sensitivity of HTML tags and JavaScript functions?webmasters.stackexchange.com — 討論:HTML 標籤使用大寫或小寫,會影響 SEO 嗎?
  4. Google Search Console robots.txt Tester Inconsistencieswww.screamingfrog.co.uk · 2017-09-28T08:19:35+00:00 — 本文論述的參考來源。
  5. Meta Robots Tag & X-Robots-Tag Explainedwww.semrush.com · 2020-12-16T14:16:00Z — 討論:可以靠 meta robots 標籤保護不想公開的頁面嗎?
  6. robots.txt 的 AI 條目:你立下的規矩,到底有誰在乎?教你親自驗證他們的忠誠度ithelp.ithome.com.tw — 本文論述的參考來源。
  7. What are URL parameters? A guide on how to use themwww.semrush.com · 2021-03-19T07:30:00Z — 討論:網址參數的大小寫也需要統一嗎?
  8. Google isn't indexing URLs after a redirect that differs only in percent-encoding/decoding?webmasters.stackexchange.com — 討論:大小寫不同的網址都顯示相同內容,可以怎麼整理?

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR