作為一名seoer，對網站日志分析是必需要掌握的一項基本的技能，通過日志分析可以分析爬蟲抓取頁面有效性,通過日志分析蜘蛛返回的狀態(tài)碼能及時發(fā)現網站里面是否存在錯誤或者蜘蛛無法爬取的頁面，排查網站頁面中存在的404錯誤頁面，500服務器錯誤等這些噪音內容上噪音頁面上（重復頁面，低質量頁面，空內容頁面，404頁面，不排名頁面等）

一、網站日志可以為我們做什么？

1、 可以分析爬蟲抓取頁面有效性（減少搜索引擎在一些噪音頁面上：重復頁面，低質量頁面，空內容頁面，404頁面，不排名頁面 的抓取頻率）；

2、排查網站頁面中存在的404錯誤頁面，500服務器錯誤等

3、頁面重要內容是否被爬蟲完整爬到并且快速遍歷；

4、正確分辨蜘蛛爬蟲

二、常見HTTP狀態(tài)碼解讀

1、200代碼，表示蜘蛛爬取正常

2、404代碼，訪問的這個鏈接是錯誤鏈接

3、301代碼，永久重定向

4、302代碼，表示臨時重定向

5、304代碼，客戶端已經執(zhí)行了GET，但文件未變化。

6、500代碼，表示網站內部程序或服務器有錯

接著，我列舉一個網站日志的案例：

日志里的含義，可以大家看下網站日志中各個數據都代表什么意思，總之這個文件是記錄的一天發(fā)生在網站上的一些行為。當我們拿到這么一個網站日志，我們就可以審視我們的日志，并且通過對日志文件分析解決網站存在的問題；

三、日志代碼解讀

從日志文件當中可以解讀出兩個部分內容：

1、搜索引擎抓取情況

從日志文件中，可以大家看到搜索引擎抓取了一些404頁面及低質量重負頁面（噪音行為）

備注：可以通過nslookup  ip 識別蜘蛛的真假

/date-2016-01.html（低質量重負頁面）

/author-1.html（低質量重負頁面）

/downloads/（低質量頁面）

/contact.html（死鏈接接），但這里有個問題，這個頁面返回的狀態(tài)碼為200而不是404，但頁面卻跳轉到404頁面，從中可以發(fā)現服務器設置一定有問題；

所以，當我們有一些頁面不希望他們抓取的時候，我們需要在robots中進行規(guī)范。規(guī)范robots一個重要的手段，就是robots.txt。爬蟲糾偏，讓爬蟲花更多的精力放在我的詳情頁面上。

2、用戶訪問網站情況

關于用戶網站訪問情況, 主要分析用戶訪問網站行為軌跡及用戶屬性，在這就不進行講述

版權說明：如非注明，本站文章均為裕騰智工作室原創(chuàng)，轉載請注明出處和附帶本文鏈接

http://www.ying88.net/seoyouhua/42.html

標簽： SEO 網站日志 

版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。