网站抓取建设指南

06.17 21:52:17发布

前段时间,百度搜索的研发工程师在百度搜索线上公开课中和大家分享了网站抓取建设指南、网站数据生产指南和网站死链处理指南的相关内容。直播间异常火爆,大家都希望自己的问题能得到讲师的解答和指点,在一旁的胡小鱼为大家记录下了重要的知识点,快来看看他的笔记吧!


Q1:百度搜索会对新网站给予更高的抓取频次吗?

A1:百度搜索会先识别网站内容的优质度,对内容优质的新站点在抓取频次上会有一定的倾斜,帮助内容得到更好的展现。


Q2:如何让百度搜索知道我的网站是一个新站点呢?

A2:主要有两种方式:1、通过百度搜索资源平台——资源提交工具来提交内容;2、在工信部进行网站ICP备案。


Q3:百度搜索会调整对网站的抓取频次吗?

A3:会的。百度搜索会基于网站的内容质量、内容更新频率及网站规模的变化等维度进行综合的计算,如果内容质量或内容更新频率有下降,百度搜索可能会降低对网站的抓取频次。


但抓取频次和收录量没有必然联系,例如降低对历史资源的抓取频次并不会影响新资源的收录效果。



Q4:为什么百度pc端的蜘蛛会抓取移动端的页面呢?

A4:百度搜索会尽可能使用移动UA抓取移动端的页面,但当蜘蛛不能准确判断它是PC端还是移动端的页面时,就会使用PC UA进行抓取。不论哪种方式,只要能正常抓取网站页面,就不会影响网站内容的收录。



网站数据生产指南

Q5:网站上线前要发布多少篇内容呢?是越多越好,还是打造优质的内容,数量少而精呢?

A5:百度搜索提倡开发者生产优质的、能满足用户需求的内容,要关注内容的质量而不是数量。如果内容优质,即使网站的内容不多,也仍会获得百度搜索的青睐。


Q6:已经被收录的页面还可以进行内容上的修改吗?是否会影响百度搜索对页面的评价?

A6:如果内容的确需要修改,且修改后的内容仍是优质的,就不会影响百度搜索对页面的评价。


网站死链处理指南

Q7:已发布的文章内容质量不高,想进行修改,需要将原来的内容设置成死链再重新发布一篇文章吗?

A7:若修改后的内容和原内容相关度高,可以在原内容的基础上直接进行修改,不必提交死链;若修改后的内容和原内容相关度低,建议将原内容设置成死链,将新生产的内容通过资源提交工具进行提交。


Q8:网站内存在大量的死链,通过死链工具进行死链提交后会降低百度搜索对网站的评价吗?

A8:不会的。如果网站内存在大量死链,但未进行死链提交,则会影响百度搜索对网站的评价



Q9:网站被黑后,生成了大量的随机链接,在进行Robots屏蔽时链接是否要区分大小写呢?

A9:需要区分大小写。建议网站被黑后,把随机链接设置为死链,通过死链工具进行提交,并同步设置Robots屏蔽。


此外,还有不少开发者反馈仍有问题希望得到解答,在接下来的两周内,我们将持续收集大家的提问,并在7月2日专门举办一场线上答疑的直播课来解答大家的问题。

TAG标签: 死链

登录 后发表评论
0条评论
还没有人评论过~