点击精灵Logo
您的位置:首页 >seo诊断

百度站长工具抓取诊断失败的原因分析

来源:精灵SEO 发布时间:2020-04-27

  对于SEO站长,经常会使用百度站长平台的抓取诊断工具,主要作用是以百度蜘蛛的角度去分析网站的内容,判断百度蜘蛛的抓取情况,解决了百度蜘蛛与seo站长们眼中内容是否一致的问题。如果经常出现抓取失败,那会大大的影响网站的正常收录,下面笔者来分析一下百度抓取诊断失败的原因有哪些。

  1.301或302重定向设置错误

  301重定向是指百度蜘蛛访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

  2.网站访问速度

  很多SEO站长表示,在本地测试访问时候,返回的HTTP状态码是200,但是抓取诊断就一直显示抓取中,没有反馈任何结果,这是由于服务器的线路不同,百度蜘蛛抓取的速度可能发生延时,就会产生明明可以正常访问,却出现抓取失败的情况。一般遇到这种情况需要定期检测服务器各地访问速度,优化网站的打开访问速度。

百度站长工具抓取诊断失败的原因分析

  3.robots.txt封禁

  在抓取诊断工具中如果返回的抓取失败,请确认你是否对该网站设置了robots.txt封禁,阻止百度蜘蛛抓取网站的某些内容,如果你未使用robots.txt文件屏蔽百度,请点击旁边的报错链接,百度会立即更新你网站的robots信息;如果是你的误操作导致了robots.txt封禁,请及时修改robots文件,避免造成你的网站在百度收录量影响。

  4.DNS错误问题

  DNS错误是指由于服务器停止运行或DNS到你网域的路由存在问题,导致百度蜘蛛无法与DNS服务器通信。对于持续的或反复出现的DNS错误,请与你的DNS提供商联系处理。通常情况下,你的DNS提供商即为网站服务器托管服务提供商,配置你的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。

  5.404错误

  一般情况下,当百度蜘蛛访问到不存在的网页(因为你删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码),404错误也会导致抓取失败。

  6.访问遭拒绝

  一般情况下,百度会通过跟踪网页间的链接来查找内容。百度蜘蛛必须能够访问某个网页才能抓取该网页。如果你意外地看到了“访问遭拒”的错误,可能是由于以下几种原因导致的:

  (1)百度spider无法访问您网站上的网址,因为你网站上的所有或部分内容要求用户登录后才能查看。

  (2)你的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度蜘蛛访问你的网站。

  总结:

  百度站长工具抓取诊断失败的原因还有很多,以上笔者分析了一些常见的,提供给大家参考,需要逐一排除找出原因。


相关文章内容简介

1 新站SEO基础怎样建立才能利于后期的优化?

  新站SEO基础怎样建立才能利于后期的优化?很多事情因为基础没有打好,就会直接影响后期的发展,做SEO也是如此,尤其是对于新网站。如果SEO基础没有建立好,会导致后期的优化变得很被动,难以获得预想的优化效果。那么新站SEO基础怎样建立才能利于后期的优化呢?下面精灵seo工程师来说说。   第一步:提交网站链接或建设外链来吸引搜索引擎蜘蛛抓取网站   提交网站链接我们可以直接在搜索引擎站长平台按要求提交(具体的在站长平台有相关教程)。另外,我们还可以通过一些论坛、博客、贴吧等,发布一些有吸引力的外链;虽然说现在百度对于外链的作用已经削弱了很多,但是对提升蜘蛛的抓取收录,还是有一定作用的。   第二步:明确目标关键词   结合你的网站主题找到一些目标关键词(建议最好不要过于热门的关键词),把这些词作为你网站的带来搜索流量的主打关键词。   第三步:根据目标关键词进行页面布局   为了进行页面布局,我们需要分析目标关键词的搜索要求,然后根据用户的需要进行页面布局,使网站具有良好的用户体验 [阅读全文]

2 要把网站的排名优化上去,这些基础工作必须做到位

  要把网站的排名优化上去,这些基础工作必须做到位!网站是做SEO排名优化的一个存在载体。网站的样式有很多,有以独立空间域名和程序设计开发的网站,也有利用开源系统建设的网站。但不管是什么样的网站,如果要把网站的排名优化上去,这些基础的工作必须做到位。   1. 丰富的页面内容   丰富的页面内容是最重要的影响排名的要素,文章要原创且高质量,但对于某些不太擅长写作的新手站长来讲,如果每天写原创确实比较困难,那么至少也要是伪原创(即在别人的文章用自己的话语组织,加上自己的一些见解),通过每天规律地更新优质文章,不断满足用户需求,提高网站的价值;   2. 关键词布局   关键词因素是第二重要因素,包括:合理的Keywords、Description、Title、 Author、Copyright页面关键词及密度相关性与栏目结构的合理布局;   3. 链接的合理布局   链接的合理布局与丰富性是第三位的要素,合理有效的内部链接与丰富的外部链接同等重要,而外部链接中高度相关性高PR值页面 [阅读全文]

系统提示

登录密码错误!!!