网站优化,seo优化,网站建设-精灵seo

seo优化

>网站优化>关键词优化>seo公司>seo推广>网站seo
您的位置:首页 >SEO教程

怎么屏蔽百度蜘蛛抓取网站?

来源:精灵SEO 发布时间:2019-10-09

  百度蜘蛛抓取我们的网站是希望将我们的网页收录到它的搜索引擎里,未来当用户搜索时,能为我们带来一定的SEO流量。当然我们并不是希望搜索引擎什么都抓取。


  所以,这时我们只希望我们希望在搜索引擎被搜索到的内容进行抓取。像用户隐私、后台信息等都不希望搜索引擎被抓取和收录。怎么屏蔽百度蜘蛛抓取网站?


  解决这样的问题最好的方式有两种,如下:

怎么屏蔽百度蜘蛛抓取网站?

  robots协议文件屏蔽百度蜘蛛抓取


  robots协议是一个放在网站根目录下协议文件,可以通过URL地址:http://你的域名/robots.txt进行访问。当百度蜘蛛抓取我们网站时,会先访问这个文件。因为里面告诉了蜘蛛哪些可以抓取,哪些不可以抓取。


  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。


  User-Agent:对不同搜索引擎的声明;


  Disallow:不允许抓取的目录或页面;


  Allow:允许抓取的目录或页面,一般可以省略不写,因为你不写什么是不可以抓的那就都是可以抓的;


  下面我们来看一个示例,场景是我不希望百度抓取我网站所有的css文件,data目录、seo-tag.html页面


  User-Agent:Baidusppider


  Disallow:/*.css


  Disallow:/data/


  Disallow:/seo/seo-tag.html


  如上,user-agent声明的蜘蛛名称,这个意思也就是说,针对百度蜘蛛。下面不能抓取”/*.css”,首先前面的/指的是根目录,也就是你的域名。*是通配符,代表任意内容。其意思就是所有文件,以.css结尾的都不能抓取。下面两个你自己体会吧。逻辑是一样的。


  如果你想检测自己最后设置的robots文件对不对,可以访问这篇文章《检查robots是否正确的工具介绍》,有详细的工具能够检测你的设置。


  通过403状态码,限制内容输出,屏蔽蜘蛛抓取。


  403状态码,是http协议中一个网页返回状态码。当搜索引擎碰到403状态码时,就知道这类页面是又权限限制的。我是不能访问的。例如需要登录才能查看的内容,搜索引擎本身是不会登录的,那么你返回403的同时,他也知道了这都是权限设置页面,无法读取内容。自然也就不会收录。


  返回403状态码的同时,应该有一个类似404页面的页面。提示用户或者蜘蛛这类页面想要做什么才能访问。两者缺一不可。你只有提示页面,状态码返回200,那对于百度蜘蛛就是大量的重复页面了。有403状态码但返回不同的内容。这也不是很友好。


  最后针对robot协议,还想再补充一点:“现在搜索引擎会通过你网页的排版、布局来识别你网页的体验友好度,如果屏蔽了css文件、布局相关的js文件的抓取,那么搜索引擎就不知道你的网页布局是好是坏了。所以不建议屏蔽这些内容不让蜘蛛抓取”。


  以上就是“怎么屏蔽百度蜘蛛抓取网站?”的全部内容,希望能够对你有所帮助。当然如上的两个设置除了针对百度蜘蛛外,对所有的蜘蛛都有效果的,设置时请谨慎。

相关文章内容简介

1 网站怎么做提升内容页的排名?

  网站怎么做提升内容页的排名? 在做网络推广的时候我们都会告诉我们的客户,需要选择一些核心词,其次就是要根据这些词来拓展长尾词,让网站能够有更多的关键词排名,从而提升网站的权重和流量,网站怎么做提升内容页的排名?那么内容页长尾词优化要怎样做出好排名?今天精灵seo工程师就来跟大家一起交流下:   一、长尾关键词排名,文章内容关键词   对于搜索引擎而言并不能识别内容语义,因此目标关键词在文章内容页中的合理分布(关键词密度),可帮助搜索引擎识别文章内容。但许多SEO新手盲目的追求关键词密度,过分干涉关键词出现的频率,进行恶意关键词堆砌,结果文章内容词义不达语义不通,严重影响用户阅读,降低文章内容页面的质量度。导致访客跳出率过高致使搜索引擎信赖程度降低影响网站权重。因此文章内容中需要注意关键词的合理分配以自然通畅为佳,切不可一味追求关键词密度而过分堆砌关键词。另外在文章内容中可对首次出现的关键词进行加粗做强调处理但不可逢词必加,避免过度优化。   二、长尾词优化排名,做好链接资源 [阅读全文]

2 网站seo必须掌握五大优化方法

  网站seo必须掌握五大优化方法!网站优化一直都是推广公司在做的事情,有的企业通过网站优化得到了很好的效果有的公司做网站优化就没什么效果,原因是什么呢?接下来就给大家介绍几种在做网站优化的时候能用到的方法,希望对大家有用。   21世纪,是信息时代,网络科技的发展让我们的生活发生了翻天覆地的变化,我们的企业和网站也借着这个红利快速发展。现在几乎所有的企业都有自己的网站,来进行宣传和推广。在早期利用网站,进行网站优化,吸引力一大批客户。但是,随着搜索引擎算法的不断升级,网站优化越来越难做,收益与付出越来越不成正比。不过,只要我们掌握了搜索引擎的核心规则,不论搜索引擎如何调整,我们只要跟着变就没问题。那么,对于未来SEOer来说,需要学会哪些核心技巧呢?   网站seo必须掌握五大优化方法:   第一,学会关键词的布局。关键词,是不管搜索引擎规则如何让变化,其抓取规则都要首先进行选取的内容。所以,只要我们在关键词布局上下功夫,使关键词布局合理有效,网站优化起来就会容易很多。所以,我们会 [阅读全文]

关闭
系统提示

登录密码错误!!!