点击精灵Logo
您的位置:首页 >seo中级

如何知道网站有没有屏蔽百度蜘蛛的抓取?

来源:精灵SEO 发布时间:2020-05-28

  如何知道网站有没有屏蔽百度蜘蛛的抓取?有些站长在优化网站的过程中,会遇到这样一个问题:我网站的关键词布局没问题、内容质量没问题,并且规律性的更新网站内容,同时也有持续在一些高权重平台发布外链,为什么百度蜘蛛就是不收录的的网页?对于这样的问题,精灵seo工程师认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取,因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛,这也是比较常见的。下面精灵seo工程师来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。

如何知道网站有没有屏蔽百度蜘蛛的抓取

  想知道网站有没有屏蔽百度蜘蛛的抓取,有两种方法

  第一种:查看网站的robots.txt文件,此文件一般在网站的根目录下,显示如下:

  User-agent:*

  Disallow: /

  这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

  User-agent: Baiduspider

  Disallow: /

  这样就表示屏蔽了百度蜘蛛抓取。

  那要怎样才能让百度蜘蛛抓取呢?精灵seo工程师举个例子,如下:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-content/

  上述的例子中,把Disallow: /改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /,Allow的意思是指允许抓取的目录或页面。

  第二种:查看网站的页面代码中是否设置屏蔽

  在网站页面代码<head>与</head>之间,有没有<meta name="robots" content="noindex, follow">或者<meta name="Baiduspider" content="noindex, follow">的代码,如果有,把这段代码删除即可。

  通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取。


相关文章内容简介

1 新站稳定关键词排名的重要性

  做SEO优化的人员大多都遇到过网站在上线不是很久就出现了排名,过了一段时间排名就消失不见了。这个情况大多是被百度限制了。新网站如何才可以稳住排名不掉呢,今天小编就和大家介绍一下新站出现关键词排名如何才可以稳定?   一、网站打开的速度   服务器一定要搞好,宁可多花钱也不能让网站三天二头打不开。服务器如果不稳定影响着网站打开的速度和百度蜘蛛的抓取。   二、网站调整   网站在上线前一定调整好之后在上线,上线之后最好不要去进行调整,网站tdk不要随便的去修改。网站后期调整可能导致网站排名的下降。   三、站内的链接   站内链接在初期有着很重要的作用,站内链接做好之后,百度蜘蛛抓取的页面内容会轻松点,网站在建设初期可能存在大量死链和重复链接,这些链接一定要出来好,不然会导致网站排名的下降。   四、网站的跳出率   网站跳出率会被大量的因素影响,有是网站广告多和网站内容不能解决,所以导致百度认为是个垃圾网站。是提过其他不正规的手段来达到的排名,这样会使网站排名大量的下降。   五 [阅读全文]

2 怎么优化百度左侧快照缩略图

  百度快照缩略图也称为百度图文快照搜索。我们通过百度搜索时,经常会看到左侧带有缩略图的快照,一般左侧为LOGO或者是特定的图片。百度左侧快照缩略图优化属于搜索引擎体验优化,主要作用是让展示的网站以更醒目的方式传递给客户,起到吸引用户点睛的作用。搜索体验优化不仅仅包含缩略图优化,还包含快照标题和快照摘要等优化。今天为大家分享一下“怎么优化百度左侧快照缩略图”。   怎么优化百度快照缩略图?   百度左侧快照缩略图优化有两个方法,一种是按照百度规范改进网站内部图片规则达成缩略图优化,另一种是通过百度站长工具,按照图片要求直接提交,百度审核通过后缩略图即可出现在搜索快照左侧。现在我们来看一下具体方法:   A:通过网站内部进行快照缩略图优化   1、图片质量要高,图片大小接近121:75比例倍数,最好选用JPG格式;   2、图片必须与主题内容紧密关联,通常为logo或品牌名称;   3、图片ALT设置与页面内容紧密相关,图片命名要规范,不要随机命名;   4、图片上不能出现电话、QQ等 [阅读全文]

系统提示

登录密码错误!!!