搜尋引擎如何發現站內搜尋結果網址?

ProcrustesPR

搜尋引擎可以透過站內連結、其他網站的連結,或 XML Sitemap發現站內搜尋結果網址,不一定要由爬蟲輸入關鍵字、提交搜尋表單。網址帶有搜尋詞,也不足以證明 Google 曾在該站搜尋。相關討論說明了這些可能途徑,但無法確認每個案例實際採用哪一種方式。對於爬蟲是否使用搜尋表單,討論中也有不同說法,不能據此斷言目前一律會或不會。

ProcrustesPRProcrustesPR網站自然流量突然下降,要先查什麼?

網址如何產生,不等於爬蟲如何找到它

要理解這個問題,得先分清楚兩件事:網站如何產生搜尋結果頁,以及搜尋引擎如何得知該頁網址。相關討論指出,若站內搜尋使用 GET,查詢條件就會放在網址參數中,不同查詢字串便可形成不同網址。即使這些網址背後由同一支程式處理,對應的頁面仍可能被索引。

討論中的 WordPress 範例,就是透過搜尋參數帶入詞語,甚至可以填入任意文字。因此,搜尋欄出現某個詞,並不能證明爬蟲曾自行輸入它;網站本身就能依網址參數顯示該詞。

首頁看似只有表單,仍可能有連結入口

在 2011 年針對 Jobrapido 的討論中,有回答者指出,首頁原始碼包含「熱門城市」及「熱門職缺」的子頁連結,只是透過 CSS 隱藏。Google 可以循這些連結前往子頁,再發現更多頁面。

這個案例說明,畫面上沒看到連結,不代表原始碼裡沒有連結。不過,它只描述該網站當時的情況,不能證明網站現在仍採用相同結構,也不是建議網站刻意隱藏連結。另有回答者指出,熱門搜尋、最近搜尋,或集中列出搜尋結果連結的專頁,都能讓搜尋引擎循連結找到結果頁。

Sitemap 是一條途徑,不是唯一解釋

相關討論提到的網址發現途徑包括:

  • 站內連結:首頁或其他頁面若連到特定搜尋結果網址,搜尋引擎就可能循連結找到它。
  • 外部連結:若其他網站連到該網址,Google 在爬取那個網站時便可能發現它。
  • XML Sitemap:網站也可以透過網站地圖提交搜尋結果頁的網址。

這些方式只說明搜尋引擎可能如何得知網址。討論中也提醒,爬取與索引是不同工作,因此提供這些入口,不代表頁面必然會被收錄或取得排名。

找不到連結,也不能確定爬蟲使用了表單

如果沒有站內連結,也找不到外部連結,現有討論仍不足以確認特定網址是如何被發現的。對於搜尋表單,有回答者聲稱搜尋引擎不會提交表單,另一位則推測 Google 可能使用部分網站的搜尋表單;這些說法不足以確立目前普遍適用的規則。較穩妥的結論是:連結與 Sitemap 都是相關討論提到的可能途徑,但僅憑搜尋結果中的網址格式,無法判定搜尋引擎實際如何找到它。

ProcrustesPRProcrustesPR社群貼文放回網站,會因為重複內容被扣分嗎?

站內搜尋結果網址的網路各方意見

搜尋結果頁的搜尋欄已填入關鍵字,代表爬蟲曾在站內搜尋嗎?

不一定。網址參數本身就可能帶入搜尋詞,網站再依參數顯示結果。討論中的 WordPress 範例甚至能帶入任意詞語。這只能說明頁面如何產生,不能證明搜尋引擎如何發現該網址,也不能據此推斷爬蟲曾輸入該詞。

首頁看不到搜尋結果連結,該如何理解它可能被發現的原因?

畫面上看不到,不等於原始碼沒有連結。2011 年討論 Jobrapido 時,有回答者指出,當時首頁的熱門城市與職缺連結只是以 CSS 隱藏,搜尋引擎可循連結到子頁,再發現更多頁面。這是當時案例的解釋,不能證明該網站現在仍採相同結構。

找不到站內或外部連結,就能確定 Google 使用了搜尋表單嗎?

不能。網站也可以透過 XML Sitemap 提交網址,但找不到連結,並不代表搜尋引擎一定是透過 Sitemap 發現它。對於搜尋表單,討論中也有不同說法:有回答者稱搜尋引擎不會提交表單,另一位則推測 Google 可能使用部分網站的表單。這些說法都不足以確立目前普遍適用的規則。

ProcrustesPR文章發了,為什麼 Google 還找不到?

參考資料

  1. How to index a search engine websitewebmasters.stackexchange.com — 討論:首頁看不到搜尋結果連結,該如何理解它可能被發現的原因?
  2. How to index a search engine websitewebmasters.stackexchange.com — 討論:搜尋結果頁的搜尋欄已填入關鍵字,代表爬蟲曾在站內搜尋嗎?
  3. How to index a search engine websitewebmasters.stackexchange.com — 討論:找不到站內或外部連結,就能確定 Google 使用了搜尋表單嗎?
  4. How to SEO a search only website?webmasters.stackexchange.com — 討論:找不到站內或外部連結,就能確定 Google 使用了搜尋表單嗎?
  5. Google Search to link to a Query Stringwebmasters.stackexchange.com — 討論:搜尋結果頁的搜尋欄已填入關鍵字,代表爬蟲曾在站內搜尋嗎?;找不到站內或外部連結,就能確定 Google 使用了搜尋表單嗎?
  6. How to stop certain urls from being indexedwebmasters.stackexchange.com — 本文論述的參考來源。

更多相關討論

網站自然流量突然下降,要先查什麼?社群貼文放回網站,會因為重複內容被扣分嗎?文章發了,為什麼 Google 還找不到?舊文章沒有排名,該重寫還是繼續更新?自己做 SEO,應該從哪裡開始?SEO 做多久才可以判斷成效?新手做 SEO 八大關鍵 – 網站收錄篇下架商品產生的 404 頁面,會影響搜尋排名嗎?
ProcrustesPR
ProcrustesPR