您好,游客注册登录繁體
有问题找尘埃 SEO教程学习群
首页 >> 网站优化 >> 网站日志分析对网站优化有什么好处

网站日志分析对网站优化有什么好处

福建SEO 2016-05-21 2
浏览次数441

蜘蛛爬取了我们哪一些页面,哪些页面爬取的次数比较多,哪一些爬取的次数比较少,通过日志的分析,是可以反馈一些问题的。

 

一、蜘蛛爬取次数的分析

 

搜索引擎对我们的页面爬取的次数,能够从侧面反映一些问题。

我们可以统计,每个月,每天,平均他来多少次,把每个月我们进行一些对比,然后我们根据我们上一个月的操作,根据两到四周的之前的一些操作,我们就可以知道,蜘蛛他为什么来的次数多,为什么他来的次数少,根据哪一些数据可以进行一些结合的判断呢。

 

(1)我们网站站内的更新,有多少页面在不断的进行更新,这个很重要。另外的话,蜘蛛他爬取的也越勤快,比如我们做了很多质量性的外链,我们的外链做的很多,它就会经常通过一些这样的外链,而爬取进我们的网站
(2)我们网站本身的更新情况,就是我们的数据更新的越多,更新的越频繁,那么蜘蛛来爬取也就越频繁(更新的内容要有质量)内容的变动包括,微调的频繁度,他也会来的越多,就是你越频繁,能够维持这个频率,他就来的越多。那么我们结合这样的一些知识,我们就知道蜘蛛来的次数的多和少,是因为哪一些情况而引起的,从而我们以后就主要来看蜘蛛的爬取的次数的多少,就可以做出一些简单的分析。哪一些东西对我们是有害的,哪一些东西是对我们有利的。

网站日志分析对网站优化的好处

二、知道蜘蛛主要爬取的是哪一些页面?

 

他到底爬取了哪一些页面,或者哪一些页面他爬取是比较反常的,比如说他老是爬我的某一个内页,那你就要打开这个内页看一下,你要找寻这个原因,他为什么老是爬取我的这个页面呢,是因为这个页面的更新频繁比较快,或者是这个列表页的更新次数比较快,还是因为这个内页我们进行了推广,还是有人进行了转载,等等这一些,他都可以向我们提供这个大量的数据来进行分析

那么我们知道了这些,通过日志分析了以后,我们就知道怎么样来做好一个页面,或者说蜘蛛喜好的页面是哪一些。我们根据这个喜好来进行优化,我们的网站就能够做得非常好

 

【 日志分析工具 awstats Webalizer】

 

用日志分析工具进行分析,我们可以知道百度来了多少次,谷歌来了多少次,但是我们不知道,他到底爬取了我们哪一些页面。比如说每天来了300次。他到底爬取了我们哪些页面我们不知道,爬取了我们的首页多少次,爬取了我们的目录页多少次,还有哪一些重要的页面是没有爬取的? 为什么没有爬取?
建议大家在分析日志的时候,最好是能够结合起来来分析,这个结合起来分析就是指,我哪一个目录的收录是比较快的,收录是比较多的,我哪一些目录是没有被收录的,或者收录是比较小的。我们我们通过分析这两个目录的蜘蛛爬取情况相结合,你就会有新的发现。
建议你去看日志的时候,最好能够结合你网站本身产生的情况来进行分析,而不能单独的去对你的这个内容进行分析。要结合在一起分析,采用这种分析的思路
我们不仅仅是看这个搜索引擎爬取的总次数,以及单个页面的爬取次数,我们还要来看一下这个网页,比如说有些页面比较反常,特别是一些比较反常的页面我们要看一看,他到底是出了什么样的情况,以及他为什么只爬取某一个目录,其他的目录不爬取。我们就要去比较这个目录和其他目录之间他有什么不同,比如说外链更新、还是一些其他的一些因素。这样的分析我们就可以看出,这个搜索引擎对于我们的内容更新,以及爬取他有哪一些要求
我们还要经常的去查看他的变化,为什么呢,因为蜘蛛在不同的时间段,每一年他爬取的这个要求都会进行一定的更改,我们不能停留在以前的意识,所以我们要经常的进行一些数据分析和对比,这样我们就可以找出来一些规律
原来是因为这个目录他经常爬取,原来是因为这个目录经常更新,他爬取的这个页面原来是做了大量的外链。等等这样的,我们就可以分析出来这样的一些结论,就知道在哪里去发是最有用的,我们根据日志就可以发现的一些规律做一些总结。所以说日志很重要。我们要经常分析和对比

 

三、 HTTP状态码的分析

 

比如说我们要看我们的404页面,做的是否是复合要求的,看当蜘蛛爬取我们404页面的时候,或者出现错误页面的时候,他返回的状态码是200还是404,即使我们是做了错误页面,如果说我们的页面返回的是200,那这个是正确的还是错误的呢,事实上我们即使是绑定了404错误页面,我们也不知道这个搜索引擎返回的状态码是多少,就是我们并不了解搜索引擎是否认可了我们做的这个页面,或者是我们做的这个页面是否符合了搜索引擎的要求。

返回的是200状态码是错误的,必须返回的是404,为什么返回的是404呢,因为200状态码对搜索引擎来说,这个页面是可以访问的。200状态码,如果搜索引擎来他访问你一个错误页面,因为你做了这个404错误页面,专业的绑定了这个404错误页面,那么你发现你的错误页面如果他进行访问的时候,返回的是200的话,那说明你这个是不正常的,那说明这个是不对的。

我们经常发现有的人绑定了404页面以后,返回的竟然是200,一个死链接他竟然返回的是200,这个是很恐怖的事情,所以我想告诉大家,我们要仔细一点,应该返回 404是正确的。因为这样搜索引擎才会知道这个页面是不可以访问的

如果说我们的网站因为备案的问题,而导致我们的网站正在建设当中,或者是因为我们的网站要改版,要暂停,或者因为其他的原因,我们的网页要暂停,那这个时候我们应该给搜索引擎什么样的状态码呢。 是给 500 、503 还是 404 还是 400 呢,这个服务器是可以设定的

返回503(告诉搜索引擎暂时) 500(很有可能会导致搜索引擎不来抓取了)

503 由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。如果能够预计延迟时间,那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息,那么客户端应当以处理500响应的方式处理它。

注意:503状态码的存在,并不意味着服务器在过载的时候必须使用它。某些服务器只不过是希望拒绝客户端的连接。

500 服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器的程序码出错时出现。

 

四、专业的日志分析工具

 

他可以知道真实的流量IP的访问记录,就是他可以知道哪一个页面的PV会比较高一点,哪一个页面的PV会比较低一点,甚至是哪一些页面会出现一些细微的HTTP状态码的一些变化,他都可以告诉你

有的人说看页面的PV,我们只要看统计工具就可以了,还用得这看日志吗?

其实这个说法是不对的。看统计工具那是一般人的做法,如果说你想对网页的数据有专业的研究的话,那么除了看我们数据本身,我们还要看他返回的状态码。那么这些东西,我们都可以借用专业的日志分析工具,比如(日志分析工具:awstats Webalizer)对于日志分析是比较强大的。

他不仅仅能够知道这个页面的PV量的访问值,(当然这个里面包括这个攻击的访问,就是有这种攻击性的访问,比如说有人用大量的IP来进行攻击你。那这样我们都是可以查的到的,他可以看这个单页面的访问量。)

那么我们分析这一些东西对我们的网站有什么好处呢,一个很明显的好处就是,我们对于页面的局部调整。我们大家都知道,一个网站他的好和坏。直接决定了用户的选择和点击。

 

【 总结 】

 

这三个方面是我们每天要建立数据模型的,对蜘蛛进行一个对比。(百度和谷歌每天来访问多少次,我们要进行统计,我们要做每个月的蜘蛛爬取的对比)

我们为什么要对比呢?

因为我们知道蜘蛛每次爬取次数的这个图谱,结合我们这几个月来的操作,进行一次对比,我们就可以看出很多问题了。为什么这个月的蜘蛛访问量明显会增加一些,这到底是因为我们做了哪一些事情,比如说这个月我们做了哪一些事情,上个月我们哪一些事情没有做。我们进行一个对比。

我们就知道哪一些东西是有利于蜘蛛的访问的。而哪一些东西是会导致蜘蛛的访问量进行下降的。这样我们就可以根据我们自身,对于网站的一些调整。进行提升我们网站的蜘蛛的爬取量。那当然有的时候蜘蛛的爬取量,对于我们网站本身是有害的,那么这些有害的访问量,我们要进行屏蔽。因为他会占用大量的服务器资源。

 

相关阅读推荐:IIS网站日志参数分析及状态码详解【SEOer必看】

版权声明:本文著作权归尘埃SEO所有,欢迎分享本文,谢谢支持!

转载请注明:网站日志分析对网站优化有什么好处 | 尘埃SEO博客

全部评论:2
1#
洛北北2016-05-2121:07 回复

收走了

    2#
    尘埃SEO2016-05-2216:36 回复

    好的。有空常来呀