您好,游客注册登录繁體
有问题找尘埃 SEO教程学习群
首页 >> SEO随笔心得 >> robots协议有什么作用?为什么要写robots.txt

robots协议有什么作用?为什么要写robots.txt

福建SEO 2016-05-20 0
浏览次数198

谷歌一般来说,你提交上去,谷歌在24个小时左右他就会进行生效。只要是你的网站有进行抓取Robots这个文件。如果你在谷歌站工具里面,有直接提交这个Robots地址,那么他这个生效时间会更短,而且他会严格遵守这个Robots协议来对我们的网站进行抓取的。他会显示我们的Robots的拦截。页面的个数,而且非常的精准。

 

但是百度的生效时间会比较长,百度也有明确说明正常情况在7天以内,见过最长的生效时间是一个月到一个半月。所以百度在这方面做得是有失水准的。但是百度在中文网页内容的匹配度方面是比较强于谷歌的,但是在这些事情上面,百度做的还不够。

 

Robots有什么作用呢,我们为什么要了解Robots呢,对于现在Robots他已经越来越重要了,他甚至是作为学习SEO的一个最基础的范畴。Robots的作用已经不在局限于网页的隐私了,还在于页面某些路径的清理。

robots协议的作用

 

为什么要用Robots来进行屏蔽

 

举个很简单的例子:

我们是特别不希望一些空白页面,无内容页面,重复的内容页面,以及存在着一些缺陷的页面,被搜索引擎进行抓取的,因为这些页面一旦进行抓取,搜索引擎肯定是会对我们网站进行处理。甚至是对我们其他的页面有影响的,那么怎么办呢,为了避免因为我们自身不可抗拒性的因素,特别是动态网页他会形成很多没有内容的空白页面,而导致搜索引擎给予页面权重值会降低,那么这个时候就是Robots他的作用所在。

Robots的作用他现在不仅仅是代表隐私,他现在的作用在于我们的网站有很多不可抗拒性的因素,而导致我们的这个网页的质量整体下降,当然这个网页质量的评比裁判是搜索引擎。Robots就是一个很好的东西,他现在的这个主要作用就是能够让我们事先的来进行避免,告诉搜索引擎这个东西你不要收录我的,不要收录我们不希望收录的一些页面(空白页面,无内容页面,重复的内容页面,一些缺陷的页面)这些不被收录,网站页面质量的影响就会降低,因为用户看不到。搜索引擎也没有收录。

 

Robots的作用有哪些:

 

1、空白无内容页面的处理

 

他可以屏蔽一些无内容页面,对于无内容的页面有很多,比如一些功能页面他没有什么内容的,例如:注册页,登陆页,购物栏,论坛的发帖页、留言页、提示页 搜索页等等、页面什么内容都没有。

所以我们要做的东西非常的简单,就是屏蔽这些没有内容的页面,这些页面我们的网站里面会有很多,我们的网站不管是论坛也好,企业站也好,还是商城站点也好,很多程序都是大量的采用动态页面,有很多东西是需要我们去进行处理和操作的,我们要屏蔽掉。当然还有一些这样的没有内容的页面,比如404页面,错误页面,如果你做了的话,你会发现我们要屏蔽的东西突然间变得越来越多了,而这些东西全部都是要我们来进行处理的,我们作为一个SEO,我们要进行处理的。

屏蔽一些无内容的页面Robots会经常的用。那除了屏蔽一些无内容的页面,他还会做哪一些事情呢,他还会去屏蔽一些重复页面(注意:屏蔽跟给用户看是两回事。很多人认为屏蔽这个页面就好像是打不开了。屏蔽是指对搜索引擎的蜘蛛而言,要他不要放出来,并不代表我们这个页面不可使用,也不代表我们这个页面打不开了,另外屏蔽了搜索引擎还是能够抓取,但是他不会放出来。你的ISS日志里面他只是屏蔽掉了,他还是在抓取)

 

2、屏蔽死链接页面的处理

 

除了重复页面还有无内容页面还可以屏蔽哪些呢?我们还可以屏蔽一些死链接页面,有一些死链接页面,我们是不需要进行屏蔽的,而有一些死链接页面我们是能进行屏蔽的,有些死链接页面是你永远都屏蔽不了的。这又是为什么呢,我们只是去屏蔽那一些带有普遍特征的页面。

有的人可能会说,都是死链接了这个蜘蛛怎么爬到?

蜘蛛就是爬不到,他才会形成死链接。他爬不到于是就显示了404状态码。显示了404状态码,那么他是不是一个死链接?他爬取不到但并不是他抓取不到这个链接,并不意味着他抓取不到地址,能否抓取到地址跟能否爬取到是两个概念。

网站错误地址的由来(死链)

蜘蛛抓取地址,我们只需要提供一个地址源头就可以了。比如说我的网站里面我不小心写错了一个地址:

比如:www.caseo.cn/seow3r/

我在文章里面写了一个这样的描文字或一个超链接,这个超链接是不存在的我不小心写错了,那蜘蛛会不会去抓,他当然是能够抓取到这个地址,抓取地址只需要提供一个地址的源头就行了。这个源头有了,但是蜘蛛去抓取这个地址的时候,会返回一个什么样的状态码,他肯定会返回404,为什么,因为这个页面他本来就是不存在的。他怎么可能会不返回404,一返回404这个搜索引擎就会认为,网站存在了错误地址。那这个就是错误地址的由来,错误地址有可能是由于我们自身的错误而产生的,也有可能是因为别人的错误。什么意思,别人写了一篇文章,他写了一个连接地址,结果他因为某一个字母写错了,点到我们到网站的时候就是404页面,就是这个意思。

 

3、屏蔽网站改版出现的死链接

 

那么仅仅是这样的,还有可能会产生一些因素,还有哪一些因素呢,还有我们网站的页面原来的地址,我们的网站的页面原来是存在的,现在改版了,这个地址不存在了搜索引擎原来抓到了,现在 在去抓发现这是一个死链接了,那这种他的概念是不一样的,这种是什么,这种是原来存在现在又没有了的,而我们刚刚出现了错误,是别人发错了或者是我们自己发错了。这种错误叫什么错误,叫无中生有,那错误链接对网站来说他会有一些什么样的害处呢。很明显的害处就是当错误链接的比例达到一定的程度的时候,那么搜索引擎就会认为你这个网站不及格,给予你较低的质量评分,权重自然就会下降了。甚至是收录会开始下降,排名开始下降,当然有死链接没有关系,他是会降权、他是会扣分,但是他的比例非常小。相对我们的网站来说影响不大。

任何网站都会有死链接,包括百度因为别人帮你做错一个连接他就是一个死链接。这个你怎么能够防的住呢,你是不能防得住的,(严重的会被K这是肯定的。是一个很严重的问题)

有一些死链接我们是能够屏蔽的,有一些死链接我们是不能够屏蔽的,那我们就来讲一讲哪一些死链接是需要屏蔽的,哪一些连接是不能够屏蔽的。

可以进行处理的死链接是不需要进行屏蔽的,哪些东西是我们可以进行处理的呢?是由于我们站内自己所造成的错误,我们是可以改过来的,而有的死链接是需要屏蔽的,为什么呢?因为不是我们造成的,比如说别人给我们做了一个错误链接,那我们要不要进行处理,要处理那我们怎么看呢,看IIS日志。

 

4、Rrobots还可以屏蔽一些比较长的路径

 

Robots他能够做这么多东西,Robots还可以屏蔽一些比较长的路径,比如说我们有很多的动态路径,我们一开始做了伪静态了。但是我们网站有很多动态的路径,我们要不要把他干掉呢,当然要干掉它,不要他收录我们的动态,还有一些较长的路径,我们认为一些比较长的路径。什么样的路径比较长,那多长算长呢?一般我们的浏览器,超过我们浏览器的输入框的长度的,那我觉得这个路径就是一个长路径,Robots要做的就是这四个方面。

好了,今天福建SEO尘埃博主就分享到这了。如果你也对学习SEO有兴趣,可以加尘埃的Q群:557664692学习交流。

相关推荐阅读:怎么写网站的robots.txt

版权声明:本文著作权归尘埃SEO所有,欢迎分享本文,谢谢支持!

转载请注明:robots协议有什么作用?为什么要写robots.txt | 尘埃SEO博客

全部评论:0