爬取大型電商網站時,應先依稽核目標限定頁面類型、分類路徑與網址參數,不必一開始就追求抓完所有網址。取得結果後,再依模板或頁面類型分組,檢查問題分布與爬取深度。以下做法整理自 Screaming Frog 官網於2024年刊出的電商稽核文章,具體介面仍須以使用版本為準。
先決定要查什麼,再排除不必要的頁面
爬取大型電商的商品頁往往需要大量記憶體。如果本次只檢查分類頁,就可以排除商品頁;若目標是商業頁面,也可排除部落格等編輯內容。這些設定只用來限定本次稽核範圍,不代表被排除的頁面不重要,也不是要求搜尋引擎停止收錄。
- 只查分類頁:依商品頁實際使用的路徑設定排除條件。例如,若商品頁統一位於 /p/ 之下,就可排除該路徑。
- 按部門分批檢查:將 /women/、/men/、/kids/ 等路徑分開爬取。
- 按品類分批檢查:也可依服飾、泳裝或配件等分類路徑分批爬取。
這些路徑只是示例,規則必須配合網站結構與稽核目標,不能直接套用到所有商店。
處理篩選參數,避免範圍擴張到數百萬個網址
尺寸、顏色、品牌等商品屬性可能產生大量帶有參數的網址。該文提醒,若未排除這些屬性產生的網址,爬取結果可能包含數百萬個網址,但並非每個電商都會達到這個規模。
文中列出三種控制方式:移除全部網址參數、以正規表示式排除特定參數,或限制查詢字串數量。選擇哪一種,取決於本次要查的內容。例如,只檢查不含篩選條件的分類頁時,可考慮排除相關參數;若目標就是稽核篩選頁,就不能先把待檢查的網址全部移除。
將結果分組,找出問題集中在哪類頁面
設定爬取範圍是為了決定「抓哪些網址」,分析結果則是要找出「哪些頁面類型出現問題」。該文介紹的 Segments 功能可按模板、頁面類型或網站區段將網址分組,方便分別檢視,而不必從一份混合清單中查找。
- 查看問題分布:利用 Issues 中的分組資訊,找出某項問題影響哪些群組。
- 檢查爬取深度:按分類頁、商品頁等類型分別查看,而非只看全站整體結果。
- 保留分組資訊:文中說明,匯出資料也會包含分組標籤,方便後續整理。
此外,自訂擷取可從網址取得資料,協助大規模檢查內容品質。不過,這裡引用的段落未列出擷取欄位,也未說明判定低品質內容的門檻,不能只因啟用了這項功能,就認定某批頁面品質不佳。
大型電商爬取範圍控制與結果分析的網路各方意見
大型電商爬取通常需要多久?
爬取時間會隨網站規模而變,可能從數分鐘到數小時。2021年的一篇工具教學提到,作者曾處理含數百萬個網址的大型電商網站,爬取需要數小時。這是個別經驗,不代表所有大型商店都會花相同時間;規劃稽核時可預留時間,再依實際網站的爬取情況調整。
分析結果時,為什麼要留意分頁?
分頁處理不當,可能影響索引與爬取。2019年的一篇SEO文章提醒,大型電商的系列頁面若各自被索引,可能造成索引膨脹;分頁處理不當也可能消耗大型網站的爬取預算,讓頁面互相競爭搜尋結果中的位置。商品有多種尺寸、顏色時尤其值得檢查。不過,採用分頁或各頁分別被索引,本身並不代表已有問題。
除了大量篩選網址,還能如何讓搜尋引擎發現商品?
一則論壇意見提出,可建立彙集相關商品的頁面,例如將同一作者的書集中列出,讓搜尋引擎從該頁發現各本書,而不只依賴大量篩選網址。這是對商品發現方式的建議,不是搜尋引擎保證收錄的規則;是否適用仍取決於網站如何組織商品與提供連結。
參考資料
- Using a slash before a question mark in a URL - Does it make a difference to rankings?www.warriorforum.com — 討論:除了大量篩選網址,還能如何讓搜尋引擎發現商品?
- How to Create an SEO-Boosting XML Sitemap in 20 Minutes (or Less)neilpatel.com · 2021-09-30T22:00:00+00:00 — 討論:大型電商爬取通常需要多久?
- Pagination: You’re Doing It Wrong! (Part 1)www.semrush.com · 2019-01-21T09:00:00Z — 討論:分析結果時,為什麼要留意分頁?
- Advanced Screaming Frog Crawling Tips and Use Cases for Ecommerce Auditingwww.screamingfrog.co.uk · 2024-04-08T11:06:08+00:00 — 本文論述的參考來源。



