点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 网络优化新人该干什么

  网络优化新人该干什么?如今的互联网已经比较发达了,几乎各行各业的公司、企业乃至个人都在不断的通过网络、网站、app等方面在网络上进行交易。也就是说:传统企业依靠互联网开展业务,网络优化或者叫网站优化这种营销方式,催生了很多从事网络营销的新人不断加入其中。对于网络优化新人来讲,首先要干什么呢?   从行业经验来看,从事网络优化的新人,必定要做的第一个东西在于内容编辑,其他的基础性工作包括网站页面质量提升,给网站做相应的外链建设。对于熟手来讲,可能要操作的点就更多了,包括但不限于网站关键词排名与流量数据分析,第三方平台合作或者引流等。   随时时间的沉淀,新人会做更多细致化的,对搜索引擎友好的操作,包括网站权重标签的添加,站内用户体验的不断完善,网站打开速度优化,网站安全建设与设置,乃至于百度熊掌号运营(推荐阅读:SEO必须做熊掌号吗?不一定),百度智能小程序(推荐阅读:百度智能小程序seo指南官方版)运营方面的工作。   下面,我们摘取一点优质的关于网络优化新手要做的工作的相关内容 [阅读全文]

2 如何做好站群seo

  很多人听说过站群,但不知道到底该怎么做!关于站群的一些资料在网上其实并不是特别多,即便是有大多也都是模拟两可。为什么会存在这样的情况?其实这也很容易理解,站群的手法不是唯一的,方法有很多种,不同的人可能做站群的手法各不一样,站群的手法不是固定不变的,基本上都是站长们自己摸索出来的。自己辛苦折腾出来的东西谁愿意就这么无私分享呢?咱又不是雷锋!   当然最主要的原因还是与搜索引擎有关,因为站群不像单个站一样想怎样就怎样,站群顾名思义是大量网站的集群,少则几十上百,多则成千上万,所以说站群的动静对于搜索引擎来说还是比较大的。如果一个站群手法做出来效果比较好,假设有人真的分享出来了,大家都跟着这么做,搜索引擎就像遇到了大地震一样,你说这类站群还能存活多久!所以网上关于站群的手法方面的东西分享比较少就能理解了!大家不要以为我这么说,就觉得接下来就没什么干货分享了,那你就大错特错了!   俗话说,授人以鱼不如授人以渔!刚刚也说了,站群的手法不是唯一的,方法有很多种,就看你自己怎么想怎么做了。 [阅读全文]

系统提示

登录密码错误!!!