点击精灵Logo
您的位置:首页 >seo资讯

百度蜘蛛再次抓取更新策略

来源:精灵SEO 发布时间:2021-07-16

  作为一个SEOER工作者,我们在优化过程中,经常会遇到索引消失,网站排名尤其是内页排名消失的情况,这里就涉及到百度蜘蛛再次抓取更新策略。

  Spider把网页抓取到本地,该网页被分析索引并参与了排名,并不意味着Spider针对该网页的工作已经结束了。现在互联网网页内容多是动态变化的,甚至有时网页会被管理者删除。搜索引擎只需要为Spider设置一个再次抓取和更新页面的策略,如何发现之前抓取的内容,与网上的其他内容非常相似或者相近,会做删除处理,这也就是索引消失的原因。

百度蜘蛛再次抓取更新策略

  所以对于已经排名在前50的长尾词,我们可以追词处理,丰富文章页面内容,同事更大的满足用户体验。站在Spider的角度,一般会根据以下四个方面来确定对已索引网页的再次抓取频率:用户体验、历史更新频率、网页类型和网页权重。

  用户体验

  SEO的根本原理在于提高网站内容相关性、权威性和实用性。其中的实用性指的就是用户行为,也就是说网站实用性越高,对用户越有用,用户表现出来的行为又会影响网站排名。当一个页面或者网站,用户体验一般,势必会造成跳出率高,浏览时间短等问题,久而久之,排名势必会下降。

  历史更新频率

  网站内容更新,像是为网站增加源源不断的能量来源,我们的网站经常更新,蜘蛛就会经常抓取,如果网站页面持续没有更新,蜘蛛可能会降低抓取频次,甚至不再抓取,同时Spider注重的变化应该是网页的主体内容部分,一般会忽略主体内容周围的广告模块、导航模块及推荐链接模块的更新变动。

  网页类型

  不同的网页类型有不同的更新频率。在同一个站点内网站首页、目录页、专题页和文章页的更新频率肯定是不同的。例如我们做的新站,90%都是先抓取首页,收录首页页面。我们网站内页的内容是具有时效性的,蜘蛛可能来一次就不再来了,所以我们站点可以绑定百度的api,内容发布后直接提交,也可以参照sitemap提交,效果不如前者好。搜索引擎有足够的能力发现网页的类型并设置合理的再次抓取频率。网页类型归类和网页历史更新频率是被综合使用最多的,一般在同一站点内同类网页会有相同的更新频率,这也会方便Spider对网页更新频率的判断。

  网页权重

  网页权重也是决定抓取频率的重要因素。用户体验在一定程度上也反映了网页权重的影响。在网页类型相同、历史更新频率也差不多的情况下,肯定是权重越高的页面被抓取的频率越高。比如新浪,好123等,同样的文章,发布在这些网站,简直就是秒抓,秒收。

  普通企业站首页可能偶尔还会有更新,但由于获取外部链接支持的质量和数量都不同,用户每日通过百度搜索访问的数量更是不同,所以搜索引擎对这些页面的抓取频次肯定有天壤之别。普通企业站,蜘蛛抓取频次可能是几十,或者几百次,和这些大站差距是挺大的。

  总结

  在SEO工作中为了提高某一网站的抓取频率,一般会重点为该页面的导入链接提高权重,努力加大该页面的更新频率。其实在用户体验和网页类型方面也是有工作可做的,用标题和描述吸引点击不仅可以提升排名,也能够间接增加页面被Spider抓取的频率;同时对于不同定位的关键词可以使用不同的网页类型(列表页、专题页、内容页等),这在设计页面内容和网站架构时就应该仔细地考虑,并且网页类型这部分有很多工作值得做。比如,有不少网站把整站都做成了列表页,全站没有普通意义上的内容页,内容页主体内容下方或周围也有大量和主题相关的文本内容,一般是类列表形式。不过这种手法有效时间不长,或者损害用户体验后会降低被抓取的频率。不论怎样,优秀的网站架构设计应该合理地利用Spider抓取策略的各种特性。(外链,用户体验,站内优化)

  以上讨论的是Spider正常的抓取策略。有抓取并不代表一定有更新,当页面内容的变化值得搜索引擎更新索引时才会更新。比如,上面提到的文章页主体内容不变但是推荐链接全变了,一般搜索引擎也不会浪费资源做无意义的更新。当Spider发现已经索引的页面突然被删除,也就是服务器突然返回404状态码时,也会在短时间内增加对该页面的抓取频率。但这仅仅是来确认这批网页是否真正被删除了,增加的这些抓取对于站点本身内容的收录和更新并没有什么作用。

  不会得到比较高的抓取频率,也就造成这些网站不断在报怨百度不更新如此操作的新闻网页。普通企业站,我们可以通过百度站长提交,来尽量实现抓取的增加。


相关文章内容简介

1 新站关键词排名为什么会忽上忽下

  每个人都期待自己优化的网站有一个稳定的排名,尤其是主关键词。但是很多时候,除了一些长尾词之外,主关键词排名会忽上忽下,是什么原因引起的?   新站排名经常会出现关键词上下波动,一天有排名一天没有排名,多是因为网站的上线时间短导致的,这个属于正常情况。为什么新站会出现这种排名波动呢?因为一个上线的新站,想要在百度获取好的排名是很难的一件事,原因大概有三,一是收录太少,网站收录都没有,谈什么参与排名?第二个是受众少,不想老站那样会有忠实的粉丝用户,会寻址访问或者收藏夹访问,获得网站投票的外链和友链都没有都几乎没有;三是网站内容质量问题,一般新站的内容都是比较少的,很多功能模块还不完善,所以与老站丰富的内容相比还是有一定差距的。   那新站是不是就没有机会获得网站排名了呢?当然不会,百度对于新站是有一定照顾的,所以现象就来了,你会发现有时上线一个网站,几天之后就会有首页的排名,还能够坚挺排名几天,但是几天之后排名就全掉了,再过几天,排名又会这样周而复始,简称排名忽上忽下。百度通常给新站 [阅读全文]

2 高指数的关键词该如何优化

  一般网站优化指的是关键词指数在500以内,优化的效果更好,更快。高指数一般是百度指数1-2k范围内的。今天给自贡SEO小伙伴们,一起讨论高指数关键词的优化方式和思路,不代表权威性,仅供SEO爱好者借鉴。   操作流程:   1、分析关键词,确认网站主关键词,然后选择2-3个辅助关键词,注意关键词的关联性和选词方法;   2、围绕用户心理,分析用户的来源和搜索喜好等等;   3、合理分布关键词,无论是频道页或者栏目页,都需要根据服装主关键词来部署相关词和长尾词,以便后期获得长尾流量;   4、文章上传的频率要高,前3个月每天至少2篇文章,每篇文章带至少一张图片,图片与文章内容有相关性;   网站上线之后,接下来就是需要一个团队围绕这个主关键词进行合理的分工,人员配置方面至少需要外链专员、编辑、推广专员、团队负责人(主管),具体的人数按需而定。外链专员需要做的是产生高质量外链,找寻高质量友链,外链以锚文本为主要目标,其中90%的锚文本指向首页,10%的锚文本指向内页,如果有能力操作链 [阅读全文]

系统提示

登录密码错误!!!