noindex,nofollow禁止搜索引擎抓取本页面

　　为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：

　　<meta name="robots" content="noindex,follow">

　　在这里，meta name="robots"是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如meta name="robots"="Googlebot(谷歌蜘蛛)"、meta name="Baiduspider(百度蜘蛛)"等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。

　　index命令：告诉搜索引擎抓取这个页面

　　follow命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。

　　noindex命令：告诉搜索引擎不允许抓取这个页面

　　nofollow命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

　　根据以上的命令，我们就有了一下的四种组合

　　<meta name="robots" content="index,follow">：可以抓取本页，而且可以顺着本页继续索引别的链接

　　<meta name="robots" content="noindex,follow">：不许抓取本页，但是可以顺着本页抓取索引别的链接

　　<meta name="robots" content="index,nofollow">：可以抓取本页，但是不许顺着本页抓取索引别的链接

　　<meta name="robots" content="noindex,nofollow">：不许抓取本页，也不许顺着本页抓取索引别的链接。

　　这里需要注意的是，不要把两个对立的反义词写到一起，例如

　　<meta name="robots" content="index,noindex">

　　此外对于多命令，这里有一个简便的写法，

　　如果是 <meta name="robots" content="index,follow">

　　的形式的话，可以写成：<meta name="robots" content="ALL">

　　如果是 <meta name="robots" content="noindex,nofollow">

　　的形式的话，可以写成：<meta name="robots" content="NONE">

　　如果是对于单独的某个搜索引擎不允许建立快照，例如谷歌，我们就可以写成：

　　<meta name="Googlebot" content="index,follow,noarchive">

　　如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下

　　<meta name="robots" content="index,follow, archive">

　　因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。