如果已取得伺服器日誌,就能先從直接檢視請求紀錄開始免費分析,不必先購買分析器。依時間、請求網址與使用者代理,整理搜尋機器人造訪了哪些頁面、頻率如何,以及是否遇到錯誤或重新導向。下文也介紹免費工具,但資訊來自較早的文章,不能保證工具目前仍可使用,或仍提供相同的免費額度。
先選觀察期間,確認日誌有哪些欄位
Semrush 的教學建議以最近 30 天的日誌作為起點;這是方便開始分析的範圍,不是必須遵守的規則。先確認紀錄涵蓋的日期,再查看時間戳記、請求網址、IP、請求類型、傳輸資料量及使用者代理等欄位。後續能回答哪些問題,仍取決於檔案實際記錄了什麼。
不必一開始就整理所有流量。若問題是「搜尋機器人有沒有造訪某個頁面」,可以先找該網址的請求;若要追查站內搜尋請求,Stack Exchange 的建議則是找到搜尋表單相關紀錄,再查看使用者代理,必要時反查 IP 取得更多資訊。
不用付費分析器,先整理三類線索
- 造訪哪些網址:將要觀察的頁面與這段期間的日誌比對,區分哪些有請求紀錄、哪些未見紀錄。這批日誌中未見紀錄,不代表頁面從未被檢索。
- 請求頻率如何:按日期或頁面群組統計請求次數,查看活動是否突然增加或減少。Semrush 教學指出,這類變化可能反映檢索方式改變,也可能是值得追查的問題,但不能只憑波動就判定原因。
- 伺服器回應什麼:若日誌包含狀態碼,可挑出錯誤與重新導向紀錄,連同網址和時間查看。例如,追查某頁面的重新導向時,先確認該次請求收到的回應,再檢查後續是否有對目標網址發出的請求。
免費工具可參考,但要留意資訊年代
tenten 的 2023 年文章記載,Screaming Frog SEO 日誌檔案分析器當時可免費分析最多 1,000 行。這是當時可用於小量分析的免費選項,但不能據此認定現在仍有相同額度,也不能把少量紀錄的分析結果視為整站全貌。
Semrush 的 2016 年文章則介紹免費開源的 OnCrawl ELK,可整理 Google 檢索過的獨立頁面、各頁面群組的檢索頻率、狀態碼及活躍與不活躍頁面。這些是當時介紹的功能;僅憑這篇舊文,無法確認工具目前是否仍受維護,以及能否相容於現在的部署環境,因此不能將其中的安裝教學視為現行步驟。
免費分析伺服器日誌的網路各方意見
已有網站分析工具,為什麼還要查看伺服器日誌?
兩者可能看到不同的請求。若爬蟲只請求原始 HTML、不執行 JavaScript,就不會觸發用戶端分析標籤,因而不會出現在 GA4、Adobe 或 Amplitude 的標籤資料中。這種情況下,伺服器日誌可提供線索;但能否查到,仍取決於相關請求是否被記錄及日誌是否涵蓋該期間。
怎麼從日誌追查站內搜尋請求的來源?
可先找出搜尋表單的相關請求,再檢查這些請求的使用者代理;必要時也可反查 IP,取得更多資訊。這是縮小調查範圍的方法,不代表單靠使用者代理或反查結果,就能確定請求者的身分或意圖;分析也只涵蓋現有日誌中的紀錄。
日誌能證明搜尋機器人沒有跟隨重新導向嗎?
不一定。日誌可協助追查,但結論應限於可觀察的紀錄。曾有網站管理者查閱日誌後表示,Google 請求未編碼網址並收到重新導向,卻未跟隨至編碼版本;他認為 Google 將其視為導向自身。這是該網站的觀察與判斷,不能當成所有重新導向的通則。
參考資料
- Is google submitting my search box form?webmasters.stackexchange.com — 討論:怎麼從日誌追查站內搜尋請求的來源?
- Google isn't indexing URLs after a redirect that differs only in percent-encoding/decoding?webmasters.stackexchange.com — 討論:日誌能證明搜尋機器人沒有跟隨重新導向嗎?
- 免費 SEO 軟體推薦:29 款幫您提升排名的工具tenten.co · 2023-12-10T11:39:17.000Z — 本文論述的參考來源。
- What Is Googlebot? How Google's Web Crawler Workswww.semrush.com · 2024-08-23T14:32:00Z — 本文論述的參考來源。
- The New Analytics Blind Spot: AI Traffic & AI Agents That Shop Without Visiting Your Sitewww.seerinteractive.com · 2026-07-22T00:00:00-05:00 — 討論:已有網站分析工具,為什麼還要查看伺服器日誌?
- Log File Analysis: SEO Advantages and How To Do It for Freewww.semrush.com · 2016-09-07T11:09:17Z — 本文論述的參考來源。
- What Is a Log File Analysis? & How to Do It for SEOwww.semrush.com · 2021-01-04T14:45:00Z — 本文論述的參考來源。


