當前位置:廈門SEO > SEO優化 > 正文

蜘蛛日志分析的作用與重要性解讀!

龍騰SEO 2019-06-11 939 0

作為一個SEO從業人員,學會蜘蛛日志分析是一項必備技能,我們可以通過網站日志中的數據記錄,了解各個搜索引擎蜘蛛經常爬行哪些頁面,有些目錄可以屏蔽不被爬行,分析網站是否處在健康的狀態。所以利用好蜘蛛日志分析工具也不可忽視,調整好網站正確引導搜索引擎蜘蛛的抓取。
蜘蛛日志分析的作用
一、網站日志怎么獲取

網站日志是記錄服務器請求與運行錯誤等信息以log后綴結尾的文件,不同的云服務器和云虛機存放的log文件位置會有不同,但一般獲取的方法是比較簡單,現在很多站長在服務器上安裝寶塔面板,那么網站日志文件會存放在wwwlogs文件夾中,只需找到對應網站的log文件然后ftp下載。

二、網站日志分析工具

現在SEO常用工具有很多比較好用的,比如在線日志分析工具拉格好,我自己常用的光年網站日志分析工具。這些工具其實大同小異,學會如何分析這些網站數據比較重要。

三、如何分析網站日志

123.125.71.84– – [20/May/2019:12:30:32 +0800] “GET /content/108.html HTTP/1.1” 200 7942 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http ://www.baidu.com/search/spider.html)

以上是日志文件里的一段代碼,現在跟大家一起來分析這段代碼意思:

123.125.71.84:蜘蛛IP

[20/May/2019:12:30:32 +0800]:蜘蛛訪問時間

GET /content/108.html HTTP/1.1:表示蜘蛛抓取的網頁地址(GET表示服務器動作)

200:表示正常訪問

7942:表示7942字節

后面的代碼表示移動端系統,我們主要了解蜘蛛來抓取哪些頁面與多久時間就要以,Baiduspider這個是百度蜘蛛的全名。

四、狀態碼返回分析解讀

1、200:代表服務器返回頁面成功;
2、404:代表頁面無法訪問;
3、301:代表頁面301轉向(重定向);
4、304:代表客戶端已經執行了GET,但文件未變化;
5、500:狀態碼表示服務器遇到錯誤,無法完成請求;
6、403:狀態碼表示服務器拒絕請求。

通過網站蜘蛛日志分析,我們可以很好的診斷網站是否出現問題,比如大量蜘蛛訪問造成打開速度緩慢,了解蜘蛛抓取頻次、是否被關進沙盒、是否有異常抓取等。另外通過抓取量還可以進一步了解各個引擎蜘蛛的喜好,起到一定的輔助作用。

轉載請注明來自龍騰SEO,本文標題:蜘蛛日志分析的作用與重要性解讀!
本文地址:http://www.fjaifj.live/content/278.html

標簽:

本文暫時沒有評論,來添加一個吧(●'?'●)

歡迎 發表評論:

關于我

歡迎加我的微信號交流

文章代更新
熱門文章
隨機tag
SEM術語內容優化騰訊游戲wap推廣網絡營銷方法網站速度關鍵字挖掘wordpress搬家cmd命令博客技巧百度競價推廣301重定向原創文章站外推廣內鏈優化內容為王sns是什么意思SEO推廣建立博客SEO工具SEO團隊SEO大神網站優化百度網站收錄
倾国妲己电子 nba比赛即时比分 网上娱乐棋牌 白城棋牌麻将下载 黑龙江快乐十分彩经 大乐129期开奖 山西快乐十分 新手炒股app哪个 幸运赛车历史开奖结果 黑龙江大庆微乐麻将 香港六合彩现场开奖 海南4+1哪里有卖 投资理财平台安全吗 南京按摩服务 股票行情今天查询大 现在什么棋牌信誉好 波克捕鱼官方专区下载