每個做SEO的站長們都應該基本分析網站日志的能力。因為通過網站的日志可以分析出搜索引擎蜘蛛的動態，用戶訪問的動態，以及發現網站哪些鏈接存在異常。

網站日志的分析和診斷就像給網站看病一樣，我們通過網站日志的分析，可以更加清楚的知道網站的健康狀況，可以利于這些數據讓我們更好的做網站SEO優化。下面就和大家說下日志分析的一些事項：

常見的蜘蛛名稱：

Baiduspider;

Baiduspider-Image;

Googlebot;

Googlebot-Image;

360Spider;

sogou spider。

一、網站日志的重要作用？

1、通過網站日志可以了解蜘蛛對網站的基本爬取情況，可以知道蜘蛛的爬取軌跡和爬取量，通過我們的網站日志，外鏈的多和少和網站蜘蛛的爬取量是有直接影響的，我們所說的鏈接誘餌就是如果你做了一個外鏈，蜘蛛在爬取這個外鏈頁面并把頁面放出來時，蜘蛛可以通過你留的這個鏈接來爬取你的網站，而網站日志正是會記錄下蜘蛛的這次爬取行動。

2、網站的更新頻率也和網站日志中蜘蛛抓取的頻率有關，一般來說更新頻率越高，蜘蛛的抓取頻率越高，而我們網站的更新不但僅只是新內容的添加同時還有我們的微調操作。

3、我們可以按照網站日志的反應情況，對我們的空間的某些事情和問題提前進行預警，因為辦事器如果出問題的話在網站日志中會第一時間反映出來，要知道辦事器的不變速度和打開速度兩者都會直接影響我們的網站。

4、通過網站日志我們可以知道網站的那些頁面是很受蜘蛛歡迎的，而哪些頁面是蜘蛛連碰都不去碰的，同時我們還能發現有一些蜘蛛由于是過度爬取對我們的辦事器資源損耗是很大的，我們要進行屏蔽工作。

二、如何下載日志及日志設置注意事項？

1、首先我們的空間要支持網站日志下載，這一點是很重要的，在我們購買空間之前必需要先問好支不支持網站日志下載，因為有的辦事商是不提供這項辦事的，如果支持的話空間后臺一般都有日志WebLog日志下載這個功能把它下載到根目錄在用FTP傳到當地就可以，辦事器的話可以設置將日志文件下載到指定路徑。

2、這里有個很重要的問題，網站日志強烈建議設置成每小時生成一次，小型的企業站和頁面內容較少的網站可以設置成一天，它默認是一天，如果內容多或者大型站設置成一天生成一次，那么一天只生成一個文件，這個文件會相當的大，我們有時電腦打開是會造成死機，設置的話找空間商協調設置即可。

三、網站日志的分析。

1、日志的后綴名是log的我們用記事本打開，選擇格式里的自動換行這樣看起來便利，同時用搜索功能搜索BaiduSpider和Googlebot這兩個蜘蛛。

例如：

百度蜘蛛 2012-03-13 00：47：10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+（+ baidu /search/spider ） 200 0 0 15256 197 265

谷歌機器人 2012-03-13 08：18：48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+（+ google /bot ） 200 0 0 985 200 31

我們分段來解釋

2012-03-13 00：47：10 蜘蛛爬取的日期和時間點；W3SVC177 這個是機器碼這個是惟一的 我們不去管它；116.255.169.37 這個IP地址是辦事器的IP地址；GET 代表事件，GET后面就是蜘蛛爬取的網站頁面，斜杠就代表首頁，80 是端口的意思，220.181.51.144 這個IP則是蜘蛛的IP，這里快排發包技術小編告訴大家一個辨別真假百度蜘蛛的方法，我們電腦點擊開始運行輸入cmd打開命令提示符，輸入nslookup空格加蜘蛛IP點擊回車，一般真百度蜘蛛都有本身的辦事器IP而假蜘蛛則沒有。

如果網站中出現了大量的假蜘蛛則說明有人冒充百度蜘蛛來采集你的內容，你就需要注意了，如果太跋扈獗那會很占用你的辦事器資源，我們需要屏蔽他們的IP.200 0 0這里是狀態碼 狀態碼的意思可以在百度里搜索下；197 265最后兩個數字則代表著拜候和下載的數據字節數。

2、我們分析的時候先看看狀態碼 200代表下載成功，304代表頁面未修改，500代表辦事器超時，這些是一般的其他代碼可以百度一下，對于差別的問題我們要處理。

3、我們要看蜘蛛經常爬取哪些頁面，我們要記錄下來，分析他們為什么會經常被蜘蛛爬取，從而分析出蜘蛛所喜歡內容。

4、有時候我們的路徑不統一出現帶斜杠和不帶斜杠的問題，蜘蛛會自動識別為301跳轉到帶斜杠的頁面，這里我們就發現了搜索引擎是可以判斷我們的目錄的，所以我們要對我們的目錄進行統一。