点击精灵Logo
您的位置:首页 >seo中级

百度的致命抓取异常?你重视过吗?

来源:精灵SEO 发布时间:2020-04-18

  百度的致命抓取异常?你重视过吗?在这些年的SEO诊断中,我这里发现不低于20%的网站都存在着一个严重的抓取问题,但是奇怪的是,却始终得不到大多数人的重视。而研究透彻并分享这个问题的人,更是没有发现。今天这篇文章,我们就来看一下这个问题。

百度的致命抓取异常?你重视过吗

  什么问题呢?

  连接超时,或者抓取超时,如果你的网站出现过这个问题,至今没有处理到位的,就把这篇文章转载一下吧。

  很多人说,不就是几十次的超时吗?有什么大不了的,如果这样认为,那么真的是活该网站做不好了,正常的网站是什么样的呢?我们来举个例子:

  这是一个权重4的站点,哪怕十多万次的抓取,却仍旧没有出现过一次的抓取错误!如果你的每日抓取错误量超过10次(十天半个月就出现一次错误,或者连续多天出现的),就真的应该严肃处理一下这个问题了,因为当前问题的存在,已经长期的制约了网站的发展上限,甚至因为这个问题,诱发网站的降权,都一点不奇怪。

  为什么会出错?

  有人说,不用理会,这就是一个BUG,因为我在网站的LOG日志中,并没有发现这个问题。之前在百度站长的VIP群里,有人这样解释过。但是我想说的是:百度无法抓取到网站,你的网站LOG日志,能统计到这样的错误吗?所以,上述解释是完全说不过去的。

  那么,为什么会出现这样的错误呢?

  A,DNS问题,无论是蜘蛛还是用户访问网站,首先就需要域名的DNS做了正确的解析,然而解析是解析了,你能确定DNS真的稳定吗?不少站点的错误,正是因为DNS不稳定而造成的。尤其是那些又做域名注册,又搞‘域名抢注’的平台,这样的平台,更容易出现DNS解析不稳定的情况,尤其是在抢注高峰期。具体哪些品牌,这个就不点名了,如果你的域名在这些平台中,贺贵江强烈建议你将其转出。

  B,页面太大,有一些网站的部分页面达到了四五六七八兆的情况,甚至还见过极少的网站出现过一个页面有10MB大小。这样的页面,更容易出现链接超时。正常情况,并不建议网站的页面大小超过3MB,同时建议网站服务器启用GZIP压缩。

  C,带宽不足,这是一个很常见的情况,不少站点出现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB,如果网站是1M接入,页面大小是256KB,如果同时2个人在打开页面,那么就需要4秒才可以下载完毕。如果带宽是2MB,页面大小是1024KB,一个人打开网站需要8秒,可如果是10个人同时打开呢?所以带宽这里,一定要做足。站长或者企业都应当观察一下站点的平均带宽,以及峰值带宽情况,如果经常出现‘带宽峰值’类型的访问,那么就一定要升级带宽了。

  D,首字节时间,可能很多同学没有听说过这个问题,它指的是从发送请求到WEB服务器的时间+WEB服务器处理请求并生成响应花费的时间。有一些站点,首字节时间居然都可以达到5MS,这样的情况,网站还能正常吗?

  1、对于首字节时间这里,我们应当注意:避免网站与其他网站共享同一个服务器其他网站会占用自身网站服务器处理时间。

  2、CDN减少内容和访问者之间的“距离”将静态内容分发到CDN,CDN的内容自动复制到各个位置,在地理上更接近用户,从而减少TTFB的时间。注意的是,已定要设置‘缓存时间’针对于网站访问较慢的页面或栏目。

  3、避免网站使用虚拟主机系统如网站在一段时间未有流量产生,系统会推迟或暂停虚拟服务器,当新访客进入时,将重新进行服务器备份处理(10s或更长时间);

  4、后端优化软件性能减少服务器生成的响应到浏览器的时间,比如:操作码缓存、服务器端缓存、本地缓存、W3总缓存等。

  最后,我们总结一下:

  首先是为网站找一家靠谱的DNS服务商,我们建议是阿里云,其次是稳定的CDN服务商,阿里、百度智能云、腾讯云,都可以。最后就是网站服务器,尽量不要选择使用虚拟主机,且尽量避免多个站点使用相同服务器。

相关文章内容简介

1 网页速度变慢的诱因大揭秘

  很多站长在做网站优化的时候会发现,我们的网站有时打开速度快,有时打开速度慢,网站打开速度的快慢严重影响着用户体验度,所以了解网站为什么打开的慢是很必要的事情,今天小编就带您来了解,为什么我们的网站打开的速度慢。   1.网站页面的大小   网页的加载速度与网站页面的大小有着直接的关系,如果一个网站有较多图片,那么这个网站的代码文件就会较大,网站的加载速度就会较慢,从而网站的打开速度也会变慢。   2.网站服务器的稳定性   服务器不未定是影响网站打开速度的直接原因,看见不稳定导致网站打开速度慢。在这里小编建议各位站长使用国内的服务器,虽然国外服务器省去了备案的麻烦过程,但是国外主机的速度比国内主机的速度会慢上很多。   3.网站的访问量过载   一般网站服务器的访问量是有一定上限的,如果同时访问网站的用户较多,就会造成站点过载现象,很可能导致网站崩溃,所以在购买网站服务器的时候一定要了解宽带的大小,结合自己网站页面的大小和来访量购买服务器空间,预防网站访问量过载。   4.网站代 [阅读全文]

2 网站SEO诊断应该从哪些方面进行?

  网站的SEO诊断应该从哪些方面进行?这是每一个SEO优化人员必备的技能之一。下面我们介绍以下应该从哪些方面对一个网站进行分析诊断。   一、初步分析   1、网站PR值、网站排名、收录情况、PV值、IP值,流量来源等分析。   2、服务器诊断。   3、用户体验诊断。   4、站内优化诊断。   二、深入分析   1、网站PV、IP、流量来源分析   2、行业分析   3、竞争对手分析   4、站内布局   5、代码优化   6、二级域名处理   7、内容优化,包括专题   8、版块优化   9、长尾词挖掘并优化   10、后台优化   11、站外优化   12、品牌推广   13、资源合作   三、具体问题分析处理   1、收录问题分析处理   2、流量入口词分析   3、细节问题汇总提交处理   4、团队建设   以上介绍的是网站的SEO诊断大纲,具体情况需要具体分析。 [阅读全文]

系统提示

登录密码错误!!!