robots文件生成工具

2021-03-27 22:47:48发布

robots文件生成工具有很多,下面介绍两个较为常用的robots文件生成工具__ChinaZ站长工具和爱站SEO工具包,具体介绍如下。


1.站长工具创建

首先在搜索引擎中搜索“站长工具”,然后进入到站长工具首页,在首页的导航栏中选择“robots.txt生成”。

入“robots文件生成”页面,在该页面中输入限制搜索引擎访问的网站目录和Sitemap,再选择所要控制的搜索引擎,最后单击“生成”按钮即可。


2.爱站SEO工具包创建

使用爱站 SEO 工具包生成 robots.txt 文件的操作方法十分简单。不过,首先需要下载爱站SEO工具包软件,注册个人账号并登录。为登录后的软件首页。

在首页导航栏中单击“实用小工具”,在“实用小工具”下方可以看到“Robots制作”选项,单击进入即可。

单击“Robots制作“选项后,便可以看到“robots制作”界面,在该界面中添加限制目录、Sitemap后选择所要控制的搜索引擎,最后单击“生成”按钮。


上面介绍的是robots.txt文件制作方法,如果网站运营人员由于操作不当封禁了robots文件,该如何解决呢?下面以258网站为例,介绍封禁了robots文件的解决方法

258.com是企业互联网+一站式服务平台,由厦门二五八网络科技集团股份有限公司倾力打造,致力于为中小微企业提供建站、推广、转化等全方位服务。该网站结合集团一站式企业服务产品和覆盖全国的本地化服务商,并开放接入优秀企业级应用,将中小微企业、本地服务商、企业级应用进行深度融合,打造全新的企业服务(B2B)领域的生态圈。


258网站在开发2.0版本时,技术人员选择了在线开发,为了避免搜索引擎抓取开发版本,于是要求技术人员设置了robots封禁处理。网站2.0版本开发周期为1个月,1个月后网站版本迭代,直接覆盖了1.0版本,包括robots封禁文件,2天后发现流量大幅下降,检查收录发现800万收录降至0条,关键词大量掉线


网站运营人员发现这种情况后,马上进行了处理。首先,网站运营人员将robots封禁修改为允许,然后到百度站长后台检测并更新了 robots 文件。但是在百度站长后台进行抓取检测时,页面显示的依旧是抓取失败,网站运营人员只好点击多次后才成功触发搜索引擎蜘蛛抓取网站。然后在百度站长后台申请抓取频次上调,并在链接提交处设置数据主动推送(实时)。此外,他们还更新网站地图,重新提交百度,每天提交一次。两天之后,网站数据开始慢慢回升,到第3天时基本回升到正常状态


上述案例中,由于工作人员操作不当封禁了robots文件,使网站的流量及收录都大幅下降,所以创建robots文件后一定要认真检查及检测。


meta robots标签

meta robots标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引本页内容,因而也就不会出现在搜索结果中。


最简单的meta robots标签格式为:

<meta name="robots" content="noindex,nofollow" >


上述标签的意义是禁止所有搜索引擎搜索本页面,禁止跟踪本页面上的链接。


Google 支持的标签有 noined,告诉搜索引擎蜘蛛不要索引本页面;nofollow,告诉搜索引擎蜘蛛不要跟踪本页面上的链接;nosnipprt,告诉搜索引擎不要在搜索结果中显示摘要文字;noarchive,告诉搜索引擎不要显示快照;noodp,告诉搜索引擎不要使用开放目录中的标题和描述。目前,百度的官方说法是只支持nofollow和noarchive。


使用了meta robots标签的页面会被抓取(只要robots没有禁止),但不会被索引,页面URL不会出现在搜索结果中,这一点与robots不同。

绝对路径与相对路径


文件路径是指文件在电脑中的位置,在网页设计中通过路径可以表示链接、插入图像、Flash、Css文件的位置。文件路径有两种方式,分别是相对路径和绝对路径。

3. 绝对路径

绝对路径是指带有网址的路径,比如有一个域名(www.dreamdu.com)和一个网站空间。若硬盘文件上的路径为下面的文件:

d:\dreamdu\exe\1.htmld:\dreamdu\exe\first\2.htmld:\dreamdu\exe\first\3.htmld:\dreamdu\exe\first\second\4.html

那么根据以上给出的条件,该文件的绝对路径就可以表示为:

<a href="http://www.dreamdu.com/exe/1.html">链接到1.html</a><a href="http://www.dreamdu.com/exe/first/2.html">链接到2.html</a><a href="http://www.dreamdu.com/exe/first/3.html">链接到3.html</a><a href="http://www.dreamdu.com/exe/first/second/4.html">链接到4.html</a>

4. 相对路径

相对路径是指由这个文件所在的路径引起的跟其他文件(或文件夹)的路径关系。使用相对路径可以带来非常多的便利。例如,在本地硬盘中有两个文件,分别是index.htm和01.htm,它们要互相做超链接。


如果index.htm文件想要链接到01.htm文件,正确的链接方式应该是这个样式。相反,如果01.htm要想链接到index.htm这个文件,可以在01.htm文件里面添加一句“../../other/index.htm”,这里的../表示上一级。

TAG标签:

登录 后发表评论
0条评论
还没有人评论过~
嘿,我来帮您!