robots文件怎么检查是够出错?

2020-11-05 23:15:35发布

1条回答
眼球征服世界 - 眼球征服世界SEO
1楼 · 2020-11-05 23:23:22.采纳回答


你好同学在网站优化过程当中找错是一个很有意思的工作,找错就是指我们要学会找出网站优化的常见错误。说白了,就是找出网站存在的一些隐患和一些有碍关键词排名的错误。找错也是一种网站的体

检,检查一下网站的优化细节有没有疏漏,一个SEO工作者当然必须要学会找出网站的优化错误,达到网站优化改善的目的。


1、Robots.txt 文件检查

检查网站的 Robots.xt是非常必要的,我们要知道我们的网站 Robots.xt有没有起到净化网站的作用就必须时刻检查我们的Robots.txt文件。当然如果我们的网站连 Robots.txt 都没有编写那就更严重了。接下来我们用案例的形式教大家检查网站的robots.txt.


首先我们直接输入网站 Robots.txt的唯一地址:域名/robots.txt ,(Robots.txt 文件是唯一的)因为只有把他的名称编写“robots.txt”才能够被搜索引擎识别,另外 robots.txt 文件必须放在网站的根目录,放在其他目录一律无效,因为搜索引擎会默认抓取

我们看到Robots.txt 文件中写的代码如下:

User-agent:*

Allow:/

意味允许所有搜索引擎抓取我们网站的所有页面。事实上这句话就意味着该站点并未真正启用到 Robots.txt文件带来的低质量页面过滤。前面我们谈及到所有网站都有低质量页面,这个是无法避免的,所以我们必须要用Robots.txt进行合理的屏蔽。比如无内容页面,重复标题和内容的页面等等。


那么该站那些页面是一些低质量页面并且是需要直接屏蔽的呢?比如无内容的页面就属于典型的低质量页面,因为这些页面会导致相似度很低。比如:登录和注册页面就属于无内页,当然要进行屏蔽和检查的内容非常非常多,我们因为篇幅的问题不一一列举了,但起码这些最为明显的误区一定要进行屏蔽,否则对于我们的优化不利。

依照上面我们发现的一些情况,编写Robots.txt 代码如下:

User-agent:*

Disallow:/registration

Disallow:/signin

Disallow:/find/type/


第一个是屏蔽了注册页面,第二个代码屏蔽了登录页面,第三个代码屏蔽了所有搜索页面,可能大家不太理解为什么要屏蔽/find/type/这个目录呢?因为搜索页面是无穷无尽的动态页面,我们不可能一一去屏蔽。所以我们只要找到产生所有搜索页面的文件夹就行了,屏蔽他就等于屏蔽了所有搜索页面。以上呢,就是针对网站做的一个最基础的Robots.txt代码的检查,一定要结合网站的页面内容来做。找出不足,然后屏蔽掉。


TAG标签: robosts