点击精灵Logo
您的位置:首页 >seo诊断

怎样查看网站有没有屏蔽百度蜘蛛的抓取

来源:精灵SEO 发布时间:2020-04-27

  有些站长在优化网站的过程中,会遇到这样一个问题:我网站的关键词布局没问题、内容质量没问题,并且规律性的更新网站内容,同时也有持续在一些高权重平台发布外链,为什么百度蜘蛛就是不收录的的网页?对于这样的问题,笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取,因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛,这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。

怎样查看网站有没有屏蔽百度蜘蛛的抓取

  想知道网站有没有屏蔽百度蜘蛛的抓取,有两种方法

  第一种:查看网站的robots.txt文件,此文件一般在网站的根目录下,显示如下:

  User-agent:*

  Disallow:/

  这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

  User-agent:Baiduspider

  Disallow:/

  这样就表示屏蔽了百度蜘蛛抓取。

  那要怎样才能让百度蜘蛛抓取呢?笔者举个例子,如下:

  User-agent:*

  Disallow:/wp-admin/

  Disallow:/wp-content/

  上述的例子中,把Disallow:/改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow:/改成Allow:/,Allow的意思是指允许抓取的目录或页面。

  第二种:查看网站的页面代码中是否设置屏蔽

  在网站页面代码<head>与</head>之间,有没有<meta name="robots"content="noindex,follow">或者<meta name="Baiduspider"content="noindex,follow">的代码,如果有,把这段代码删除即可。

  通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取,你学会了吗?


相关文章内容简介

1 SEO不能只做网站数据的加法,也要适当的做些减法

  在很多人眼里SEO就是每天发发外链,更新下网站内容之类的工作,不过也难怪,因为确实很多人都是这么做的,在各大站长论坛也随处可见讨论如何提高收录和增加外链的帖子,毕竟对大部分网站而言,提高网站收录数量都会在SEO工作中占据较大的比重。   一般情况下,网站的收录是确保网站SEO流量来源的保证,毕竟页面的收录是页面获得排名从而获得搜索流量的前提,所以为了更好的获得SEO流量,也就是很多人看重的所谓百度权重,那么尽可能的提高网站收录也就会成为一项重要工作,但真的就收录多了SEO流量就多了吗,答案很明显是否定的,因为高收录和高SEO流量并不是因果关系。   我们经常能够看到,有些网站的收录情况很可观,十几万的收录,甚至上百万的收录,这都是很多SEOER希望看到的结果,但如果没有带来搜索流量那就只是一个死数字而已,我就看到有百万级的收录但工具查看的百度流量预计却只有二三十,而几十万收录但百度流量预计为0的就更是不少了,因为收录的页面内容质量太低,或者说根本就是纯采集,导致网站在搜索引擎看来就 [阅读全文]

2 SEO工程师擅长的网站数据分析

  经常有朋友问笔者,seo如何入门,笔者习惯都会说会发外链,会换友情就已经算入门级seo了,肯定有朋友会问如何能成为seo高手呢?今天就跟大家讲些那些高级seo所擅长的网站数据分析。笔者也发现网上关于网站数据分析的文章很少,张玉淦SEO博客就结合自己跟自己看到书学到的简单网站数据分析,向大家讲解下。   为什么要对网站进行分析?   回答这个问题之前咱们先反问下自己,我们网站为什么存在,如果不了解自己网站存在的目的,那么我们也不需要对网站进行分析,因为网站分析不会带来任何价值,它充其量只是提供一堆零散的指标和数据,不会有任何实质的改进建议。所以我们进行网站分析的时候,必须要明确可衡量的网站目标。目标确定了,我们如何来实现这个目标呢?肯定很多人的目标都是赚钱(笔者也是),但是赚钱是一个很大、很复杂的目标,这个目标很难通过一个人或一个部门的力量完成,我们需要对这个大目标进行分解,形成很多的小目标和可执行的动作。所以网站分析就是通过对每一个可执行的动作以及小目标的度量和改进,最终促进网站 [阅读全文]

系统提示

登录密码错误!!!