精灵SEO

seo

>

seo优化

>

网站优化

>

关键词优化

>
seo公司
您的位置:首页 >seo中级

探索搜索引擎蜘蛛的抓取规律,外链是否有时效性?

来源:精灵SEO 发布时间:2020-01-14

  探索搜索引擎蜘蛛的抓取规律,外链是否有时效性?做SEO优化的我们都晓得搜索引擎录入页面是靠蜘蛛抓取来录入的,所以了解搜索引擎的改动是必需的。搜索引擎蜘蛛是大家编写出来的机器,一定存在着某种规则。

探索搜索引擎蜘蛛的抓取规律,外链是否有时效性

  一、搜索引擎蜘蛛的抓取规律

  1、优质网站专门分配蜘蛛抓取,及时抓取,及时收录,及时放出供网民搜索;

  2、普通网站,分配一定的蜘蛛抓取资源,爬到一定量就不抓取了;

  根据以上两种抓取原则,在配合两种抓取方法:横向抓取,纵向抓取;

  网页抓取规则:遵循F型抓取规则,从左到右,从商到下的原则抓取。

  一般情况下,一个新上线的网站需要一段时间才会被录入。当搜索引擎录入网站时,一般是从主页收录,接着顺着主页再进入内页。搜索引擎很“花心”,它不是一次性将网站悉数抓取完,而是分不一样的时间段进行抓取,然后核算出蜘蛛在网站的活动时间及时间的长短。

  新站的页面即便被抓取也不会马上被放出来,需要经过搜索引擎重复核算,供认网站的确有必要录入,这时才会把页面放出来,一般新站的网站快照和录入页面都是晚一个星期才会被放出来。

  一定要紧记下面这段话:在搜索引擎蜘蛛抓取网站的时分,千万不能出现网站打不开或许有死链的情况,假设出现这种情况,搜索引擎会连续对网站的抓取,往后什么时分再来就不一定了。有很多人有一个不好的习惯,也有一个不错的猜想,认为域名的年纪越长,越遭到搜索引擎的亲赖。

  有好多人,网站刚刚做完主页,马上上线,主页上的衔接大多数都是死链,搜索引擎蜘蛛进入后,抓取网站内页时进不去,对网站形象大幅度降低,然后减少来抓取网站的次数。假设下次来光临的时候, 网站仍是原样,这样往复几回,搜索引擎蜘蛛就会不友好,觉得是低质网站,毕竟抛弃抓取该网站。

  网站成功上线一段时间后,才会进入安稳时期。baidu和Google会给新站一段时间的查核期,查核期过后,才认为网站是一个长时间的网站,这个时间为3-6个月。处在安稳期的网站,搜索引擎蜘蛛会常常来光临,它们仍是和前期时期一样,从主页进入网站抓取。

  baidu和Google略有不一样,假设baidu发现网站主页的内容没有改动,会马上中止抓取;而Google不是这样,即使发现网站主页没有改动,仍是照常顺着主页的衔接继续抓取,这便是有些网站Google比baidu录入页面多的原因之一。

  当更新网站的内容时,一定要在网站主页中显示出来,否则百度蜘蛛不会录入更新的页面,因为主页没有改动,百度蜘蛛不往内页抓取,所以不晓得有新的页面发作。这也是有的公司网站常常犯的错误之一,主页的内容是死的,不能改动,致使网站的录入量一贯没有改动。安稳时期的网站快照和录入页面一般是近两天内被放出来。。搜索引擎也是一样,它对网站形象好,会常常来,常常更新网站的快照,常常录入页面;假设对网站形象欠好,所以要先养站,只需网站略微有“打擦边球”的嫌疑,被封掉的可能性就会很大。

  二、外链是否有时效性

  早几年在博客中国的博客(可能是因为流量超标在2016年被删除了)早就已经被删了,但是百度依然有快照。今天看了下首页的快照已经没有了,但是文章页面还存在。看快照日期可以看到是2016年,甚至更久的。

  也就是虽然页面被删除了有5年之久,但是百度的快照没有删除,那么你说这里面的链接蜘蛛会不会爬呢?我感觉应该是会爬的,而且我在博客网的这个博客是有一个域名A的链接的,当时只是做了个跳转到博客首页。后来在我启用域名A做博客的时候,立马就获得了一个很好的权重,而且文章很容易被秒收。相信这个5年前的链接起到了不少的作用。

  如果外链所在页面搜索引擎没有了快照,外链是否有效呢?答案可能会出乎很多人的意料,外链所在页面没有了快照依然还可以有效。原因可以查看我在蜘蛛如何抓取链接这篇文章里写的,蜘蛛抓取页面之后,会把内容和链接分开,链接也就是URL会加入一个网址索引库,而蜘蛛抓取是从这个网址索引库出发的。

  先看证据,这个证据来自于谷歌站长工具:这个截屏来自于Google站长工具故障诊断的404报告,以前我在原网站下面架设了个bbs,当然早在N年前已经删除了。可是这个不存在的页面,被Google蜘蛛抓取的来源地址竟然也是不存在的页面。而用Google搜索,是没有这些页面的快照的。那是不是意味着已经404了很久的页面上的导出链接依然有效?

  三、那么外链对于搜索引擎是否有时效性呢?

  很明显应该是有时效性的。那么我就猜测一下外链失效的原因吧,应该会有两个原因:那就是外链所在页面被删或者链接被删。

  1.针对页面被删的情况,搜索引擎应该会继续抓取这个页面上的外链,直到这个页面404一定时间后,会给搜索引擎网址索引库一个命令删除这个外链。

  2.而对于页面更改的情况,搜索引擎应该也会抓取这个外链,直到这个含有这个外链快照在搜索引擎内部彻底删除,会给网址索引库一个命令删除这个外链。因为含有外链的页面根据情况会保存N个时期的快照,这就是为什么有时候搜不同的词,网页快照不同。推荐阅读:seo编辑如何撰写提升排名的站内文章?

相关文章内容简介

1 怎样正确看待关键词排名上升与下降

  在做网站优化的过程中,在某一个时间,我们偶尔会遇到关键词排名浮动的问题,通常而言主要是如下两种情况:   ①排名上升   ②排名下降   理论上来讲,关键词排名上升与下降实际上是一个正常现象,由于搜索引擎是一个动态过程,我们不可能长期保持关键词排名不浮动。   那么,我们要怎样正确看待关键词排名上升与下降呢?下文小编来说说自己的见解。   1、上升上升   通常而言,一个网站的关键词排名上升是一个积极的SEO信号,但我们也不应该忽略思考,为什么会是这样的结果,比如:   ①是否采用关键词排名提升工具(SEO快速排名软件)促使页面排名提升。   ②上涨的关键词排名是否具备一定的竞争度,还是没有任何商业性的价值,比如:百度指数为零的词。   ③是否由于竞争对手的停止运营,而导致自身网站排名上涨。   ④搜索引擎算法是否在改变,排名上涨是因为外链质量,还是内容优质度。   ⑤近期是否进行网站改版,优化了页面网站结构,使得权重得到集中。   2、下降   ①当关键词下降,我们首先需要审查 [阅读全文]

2 搜索关键词排名结果不一致的原因

  很多SEO优化公司给客户做网站关键词排名,总是遇到这样的问题:当他身边有百度搜索时,客户是不是在百度搜索那里,或者还是在早上,下午就消失了,而且,当然,该网站是在晚上的排名,没有在早上,特别是刚开始的时候只是文字不太稳定,那么搜索关键词排名结果不一致的原因是什么呢?   1.距离排名差异   关键词排名位置是根据全国各省市逐渐取得的,百度快照内存实际上是一个缓存,所以关于新词,百度快照缓存的某些部分还没有更新,所以会造成不同的排名差异,做关键词随着时间的推移,排名的很多部分往往会接近甚至一致,当然也可能不再因为我们不能满足客户的需求而不能来哦。   2.关键词新单词不稳定   关键词只是做主页,我们经常遇到早上还在百度主页,下午在前100名内找不到情况,因为新站或新词只是对单词造成的不稳定。这个时候建议我们不要试着这么放心做排名和内容,比如后期稳定看看具体的排名位置,特别是在前100名客场直接影响百度主页,影响人们的高峰值注意,如果直接影响名字或前三个百度主页,那么我们的网站基本 [阅读全文]

代理合作

电话/微信:18054233683

关闭
系统提示

登录密码错误!!!