点击精灵Logo
您的位置:首页 >seo中级

如何知道网站有没有屏蔽百度蜘蛛的抓取?

来源:精灵SEO 发布时间:2020-05-28

  如何知道网站有没有屏蔽百度蜘蛛的抓取?有些站长在优化网站的过程中,会遇到这样一个问题:我网站的关键词布局没问题、内容质量没问题,并且规律性的更新网站内容,同时也有持续在一些高权重平台发布外链,为什么百度蜘蛛就是不收录的的网页?对于这样的问题,精灵seo工程师认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取,因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛,这也是比较常见的。下面精灵seo工程师来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。

如何知道网站有没有屏蔽百度蜘蛛的抓取

  想知道网站有没有屏蔽百度蜘蛛的抓取,有两种方法

  第一种:查看网站的robots.txt文件,此文件一般在网站的根目录下,显示如下:

  User-agent:*

  Disallow: /

  这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

  User-agent: Baiduspider

  Disallow: /

  这样就表示屏蔽了百度蜘蛛抓取。

  那要怎样才能让百度蜘蛛抓取呢?精灵seo工程师举个例子,如下:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-content/

  上述的例子中,把Disallow: /改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /,Allow的意思是指允许抓取的目录或页面。

  第二种:查看网站的页面代码中是否设置屏蔽

  在网站页面代码<head>与</head>之间,有没有<meta name="robots" content="noindex, follow">或者<meta name="Baiduspider" content="noindex, follow">的代码,如果有,把这段代码删除即可。

  通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取。


相关文章内容简介

1 SEO实现99%收录的操作秘籍

  做SEO最关心的是收录排名,收录是排名的前提,所以今天小编来给大家分享实现99%收录的操作秘籍。   一篇高质量文章是排名的基础,文章要有层次,内容要完整,符合客户需求,能为客户解决问题。   什么样的页面不利于spider抓取收录?   ■页面含有太多spider无法识别的弹窗、javascript、图片、flash等;   ■文章段落格式没有层级,文本堆砌在一起;   ■标题过度优化,标题过长,超过搜索引擎检索的字符范围;   ■页面质量过低,伪原创,采集的内容过多,与搜索引擎已收录的索引库重复;   ■轻易修改标题,布局,网页三要素,导致搜索引擎不信任;   ■打算被spider抓取收录的页面不能用robots.txt屏蔽掉。   如何才能写出高质量页面并提升收录效率?   ■标题新奇,不与搜索引擎索引库已收录的页面标题过度重复;   ■页面排版布局有序,段落格式清晰;   ■优化对于蜘蛛不友好的js,图片,falsh,图片,falsh等要注明alt;   ■所写内容包含用 [阅读全文]

2 从SEO工作原理中找到SEO操作点

  搜索引擎就像是一个打分的老师,只有真正了解了搜索引擎,网站的分数才能得到最高。   要想在搜索引擎上站稳脚跟,那么我们就需要知道它的四大工作原理——抓取、过滤、收录、排序。   1,抓取:搜索引擎需要抓取网页内容,被抓取到数据库中。可以通过外链、提交链接将百度蜘蛛引过来,使其对网站内容进行一个抓取。   因此,为了使蜘蛛抓取网站更好,我们需要避免以下几个问题:   a、路径不能过长,   b、不能使用中文路径,   c、不能拒绝蜘蛛的抓取。   2、过滤:当蜘蛛将我们的站点形式发展抓取以后,蜘蛛会将这些内容进行过滤。   那末咱们就需要懂得蜘蛛需要过滤掉什么内容?   a、文字、图片、视频、链接,   b、网站反映速度,   c、网站权重、信用度,   d、页面质量,   e、页面相似度。   之后,搜索引擎需要过滤几次要求都知道,做有利于用户对搜索引擎的内容将会事半功倍!   3、收录:过滤掉一些垃圾信威海百度息之后,搜索网站盈利引擎就会一个网将这些过滤之后还剩下的网站内容进行 [阅读全文]

系统提示

登录密码错误!!!