点击精灵Logo
您的位置:首页 >seo诊断

怎样查看网站有没有屏蔽百度蜘蛛的抓取

来源:精灵SEO 发布时间:2020-04-27

  有些站长在优化网站的过程中,会遇到这样一个问题:我网站的关键词布局没问题、内容质量没问题,并且规律性的更新网站内容,同时也有持续在一些高权重平台发布外链,为什么百度蜘蛛就是不收录的的网页?对于这样的问题,笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取,因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛,这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。

怎样查看网站有没有屏蔽百度蜘蛛的抓取

  想知道网站有没有屏蔽百度蜘蛛的抓取,有两种方法

  第一种:查看网站的robots.txt文件,此文件一般在网站的根目录下,显示如下:

  User-agent:*

  Disallow:/

  这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

  User-agent:Baiduspider

  Disallow:/

  这样就表示屏蔽了百度蜘蛛抓取。

  那要怎样才能让百度蜘蛛抓取呢?笔者举个例子,如下:

  User-agent:*

  Disallow:/wp-admin/

  Disallow:/wp-content/

  上述的例子中,把Disallow:/改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow:/改成Allow:/,Allow的意思是指允许抓取的目录或页面。

  第二种:查看网站的页面代码中是否设置屏蔽

  在网站页面代码<head>与</head>之间,有没有<meta name="robots"content="noindex,follow">或者<meta name="Baiduspider"content="noindex,follow">的代码,如果有,把这段代码删除即可。

  通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取,你学会了吗?


相关文章内容简介

1 网页速度变慢的诱因大揭秘

  很多站长在做网站优化的时候会发现,我们的网站有时打开速度快,有时打开速度慢,网站打开速度的快慢严重影响着用户体验度,所以了解网站为什么打开的慢是很必要的事情,今天小编就带您来了解,为什么我们的网站打开的速度慢。   1.网站页面的大小   网页的加载速度与网站页面的大小有着直接的关系,如果一个网站有较多图片,那么这个网站的代码文件就会较大,网站的加载速度就会较慢,从而网站的打开速度也会变慢。   2.网站服务器的稳定性   服务器不未定是影响网站打开速度的直接原因,看见不稳定导致网站打开速度慢。在这里小编建议各位站长使用国内的服务器,虽然国外服务器省去了备案的麻烦过程,但是国外主机的速度比国内主机的速度会慢上很多。   3.网站的访问量过载   一般网站服务器的访问量是有一定上限的,如果同时访问网站的用户较多,就会造成站点过载现象,很可能导致网站崩溃,所以在购买网站服务器的时候一定要了解宽带的大小,结合自己网站页面的大小和来访量购买服务器空间,预防网站访问量过载。   4.网站代 [阅读全文]

2 网站SEO诊断应该从哪些方面进行?

  网站的SEO诊断应该从哪些方面进行?这是每一个SEO优化人员必备的技能之一。下面我们介绍以下应该从哪些方面对一个网站进行分析诊断。   一、初步分析   1、网站PR值、网站排名、收录情况、PV值、IP值,流量来源等分析。   2、服务器诊断。   3、用户体验诊断。   4、站内优化诊断。   二、深入分析   1、网站PV、IP、流量来源分析   2、行业分析   3、竞争对手分析   4、站内布局   5、代码优化   6、二级域名处理   7、内容优化,包括专题   8、版块优化   9、长尾词挖掘并优化   10、后台优化   11、站外优化   12、品牌推广   13、资源合作   三、具体问题分析处理   1、收录问题分析处理   2、流量入口词分析   3、细节问题汇总提交处理   4、团队建设   以上介绍的是网站的SEO诊断大纲,具体情况需要具体分析。 [阅读全文]

系统提示

登录密码错误!!!