点击精灵Logo
您的位置:首页 >seo诊断

百度站长工具抓取诊断失败的原因分析

来源:精灵SEO 发布时间:2020-04-27

  对于SEO站长,经常会使用百度站长平台的抓取诊断工具,主要作用是以百度蜘蛛的角度去分析网站的内容,判断百度蜘蛛的抓取情况,解决了百度蜘蛛与seo站长们眼中内容是否一致的问题。如果经常出现抓取失败,那会大大的影响网站的正常收录,下面笔者来分析一下百度抓取诊断失败的原因有哪些。

  1.301或302重定向设置错误

  301重定向是指百度蜘蛛访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

  2.网站访问速度

  很多SEO站长表示,在本地测试访问时候,返回的HTTP状态码是200,但是抓取诊断就一直显示抓取中,没有反馈任何结果,这是由于服务器的线路不同,百度蜘蛛抓取的速度可能发生延时,就会产生明明可以正常访问,却出现抓取失败的情况。一般遇到这种情况需要定期检测服务器各地访问速度,优化网站的打开访问速度。

百度站长工具抓取诊断失败的原因分析

  3.robots.txt封禁

  在抓取诊断工具中如果返回的抓取失败,请确认你是否对该网站设置了robots.txt封禁,阻止百度蜘蛛抓取网站的某些内容,如果你未使用robots.txt文件屏蔽百度,请点击旁边的报错链接,百度会立即更新你网站的robots信息;如果是你的误操作导致了robots.txt封禁,请及时修改robots文件,避免造成你的网站在百度收录量影响。

  4.DNS错误问题

  DNS错误是指由于服务器停止运行或DNS到你网域的路由存在问题,导致百度蜘蛛无法与DNS服务器通信。对于持续的或反复出现的DNS错误,请与你的DNS提供商联系处理。通常情况下,你的DNS提供商即为网站服务器托管服务提供商,配置你的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。

  5.404错误

  一般情况下,当百度蜘蛛访问到不存在的网页(因为你删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码),404错误也会导致抓取失败。

  6.访问遭拒绝

  一般情况下,百度会通过跟踪网页间的链接来查找内容。百度蜘蛛必须能够访问某个网页才能抓取该网页。如果你意外地看到了“访问遭拒”的错误,可能是由于以下几种原因导致的:

  (1)百度spider无法访问您网站上的网址,因为你网站上的所有或部分内容要求用户登录后才能查看。

  (2)你的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度蜘蛛访问你的网站。

  总结:

  百度站长工具抓取诊断失败的原因还有很多,以上笔者分析了一些常见的,提供给大家参考,需要逐一排除找出原因。


相关文章内容简介

1 过犹不及,SEO过度优化要不得

  所谓的过度优化就是一个网站的优化痕迹过于明显,让搜索引擎认为你的站点就是一个垃圾站点,作弊站点。那么搜索引擎是如何判断一个网站是过度优化?   1、网站内容是采集而来的   有些优化的网站需要大量更新文案,而他们的文案从不自己撰写原创的,全部都是采集别人网站的内容,连标题到评论都一模一样,又或者是表达不清,有乱码等等情况。你可知道搜索引擎是不喜欢这样内容的。而且重复抄袭的内容本来已经储存在搜索引擎的数据库上,没有必须再把这些内容重复收录,网站的优化排名肯定不会好,在搜素引擎眼中,网站只是一个抄袭采集、过度优化的网站。   2、标题党   所谓的标题党,就是利用一个非常有诱惑力的标题来吸引用户点击,但实际上里面的内容都是不相关的,文不对题的。并没有解决用户点击进来所需要解决的问题,没有用户体验可言,在用户面前失去信任度。所以无论是网站首页栏目页的标题或是文章页的标题,都要对题,不能离题,有吸引诱惑力的标题,里面的内容要有吸引力,有作用,能解决用户点击的初衷。   3、网站内容之间是 [阅读全文]

2 浅谈处在不同时期的SEO优化思路

  处在不同时期的网站如何有针对性地进行优化呢?这个关于网站优化的问题,相信是大多数SEOer比较关注的,那么,我们先简单地了解一下吧,我们应该都知道,网站的发展过程都脱离不了三个阶段,也就是网站建站初期,中期以及后期了,而在网站的每个不同的阶段中,都应该要有不同的优化思维来优化好网站,从网站上线的初期,我们就应该要做好网站的基础优化,提高网站的综合得分情况,抓住最好的优化时机,在网站未来的优化和发展过程中,可以少走很多的弯路,从而可以使网站的优化和发展更加的顺利,好,接下来就给大家仔细讲解一下,处在不同时期的网站该如何具体地进行优化的吧。   一、网站初期的布局建设   1、网站未来发展方向的定位   网站建站的初期(这里讲的是还未上线之前的网站)一定要规划好网站未来的发展方向,这个是很重要的一件事情,如果你网站想要做大的话。那么,我们应该要如何规划网站未来的发展方向呢?这里我就给大家讲一下吧,例如:你网站未来要朝向什么领域发展,发展的空间有多大,潜力怎么样?预计的受众群体有哪些? [阅读全文]

系统提示

登录密码错误!!!