点击精灵Logo
您的位置:首页 >seo高级

如何屏蔽搜索引擎蜘蛛对网站的抓取?

来源:精灵SEO 发布时间:2020-04-22

  要知道在seo优化的过程当中,有时候是需要对搜索引擎蜘蛛进行屏蔽的,就是禁止对网站的某个地方进行抓取,那么我们应该如何屏蔽搜索引擎蜘蛛呢?下面我们一起来看一看具体的操作方法。

  百度蜘蛛抓取我们的网站,希望我们的网页能被包含在它的搜索引擎中。将来,当用户搜索时,它会给我们带来一定量的搜索引擎优化流量。当然,我们不想让搜索引擎抓取所有东西。

  因此,此时我们只希望能够抓取搜索引擎搜索到的内容。例如,用户的隐私和背景信息不希望搜索引擎被捕获和包含。解决这些问题有两种最佳方法,如下所示:

如何屏蔽搜索引擎蜘蛛对网站的抓取?

  robots协议文件屏蔽百度蜘蛛抓取

  robots协议是放在网站根目录下的协议文件,可以通过网址访问,当百度蜘蛛抓取我们的网站时,它会先访问这个文件。因为它告诉蜘蛛哪些能抓,哪些不能。

  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。

  User-Agent:对不同搜索引擎的声明;

  Disallow:不允许抓取的目录或页面;

  Allow:被允许抓取的目录或页面通常可以省略或不写,因为如果你不写任何不能抓取的东西,它就可以被抓取。

  下面我们来看一个示例,场景是我不希望百度抓取我网站所有的css文件,data目录、seo-tag.html页面

  User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html

  如上所述,user-agent声明了蜘蛛的名称,这意味着它针对的是百度蜘蛛。以下内容无法获取"/*。css",首先/指的是根目录,这是您的域名。*是代表任何内容的通配符。这意味着无法抓取以.css结尾的所有文件。这是你自己的两个经历。逻辑是一样的。

  通过403状态码,限制内容输出,屏蔽蜘蛛抓取。

  403状态代码是http协议中的网页返回状态代码。当搜索引擎遇到403状态代码时,它知道这些页面受权限限制。我无法访问它。例如,如果您需要登录才能查看内容,搜索引擎本身将无法登录。如果您返回403,他也知道这是权限设置页面,无法读取内容。当然,它不会被包括在内。

  返回403状态代码时,应该有一个类似于404页面的页面。提示用户或蜘蛛执行他们想要访问的内容。两者都是不可或缺的。您只有提示页面,状态代码返回200,这是百度蜘蛛的大量重复页面。有403个状态代码但返回不同的内容。这也不是很友好。

  最后,对于机器人协议,我想补充一点:“现在,搜索引擎将通过网页的布局和布局来识别网页的用户友好性。如果阻止css文件和js文件相关到布局,然后搜索引擎我不知道你的网页布局是好是坏。因此不建议阻止这些内容来自蜘蛛。


相关文章内容简介

1 新站SEO基础怎样建立才能利于后期的优化?

  新站SEO基础怎样建立才能利于后期的优化?很多事情因为基础没有打好,就会直接影响后期的发展,做SEO也是如此,尤其是对于新网站。如果SEO基础没有建立好,会导致后期的优化变得很被动,难以获得预想的优化效果。那么新站SEO基础怎样建立才能利于后期的优化呢?下面精灵seo工程师来说说。   第一步:提交网站链接或建设外链来吸引搜索引擎蜘蛛抓取网站   提交网站链接我们可以直接在搜索引擎站长平台按要求提交(具体的在站长平台有相关教程)。另外,我们还可以通过一些论坛、博客、贴吧等,发布一些有吸引力的外链;虽然说现在百度对于外链的作用已经削弱了很多,但是对提升蜘蛛的抓取收录,还是有一定作用的。   第二步:明确目标关键词   结合你的网站主题找到一些目标关键词(建议最好不要过于热门的关键词),把这些词作为你网站的带来搜索流量的主打关键词。   第三步:根据目标关键词进行页面布局   为了进行页面布局,我们需要分析目标关键词的搜索要求,然后根据用户的需要进行页面布局,使网站具有良好的用户体验 [阅读全文]

2 要把网站的排名优化上去,这些基础工作必须做到位

  要把网站的排名优化上去,这些基础工作必须做到位!网站是做SEO排名优化的一个存在载体。网站的样式有很多,有以独立空间域名和程序设计开发的网站,也有利用开源系统建设的网站。但不管是什么样的网站,如果要把网站的排名优化上去,这些基础的工作必须做到位。   1. 丰富的页面内容   丰富的页面内容是最重要的影响排名的要素,文章要原创且高质量,但对于某些不太擅长写作的新手站长来讲,如果每天写原创确实比较困难,那么至少也要是伪原创(即在别人的文章用自己的话语组织,加上自己的一些见解),通过每天规律地更新优质文章,不断满足用户需求,提高网站的价值;   2. 关键词布局   关键词因素是第二重要因素,包括:合理的Keywords、Description、Title、 Author、Copyright页面关键词及密度相关性与栏目结构的合理布局;   3. 链接的合理布局   链接的合理布局与丰富性是第三位的要素,合理有效的内部链接与丰富的外部链接同等重要,而外部链接中高度相关性高PR值页面 [阅读全文]

系统提示

登录密码错误!!!