点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 想做好网站优化要牢记这几点

  相信每个用户都不喜欢蜗牛般的站点访问速度,并且搜索引擎也不喜欢空见反应慢,毕竟,如果站点打开几分钟,不仅用户不能进入,而且蜘蛛不能爬进去,排名权重也不会有帮助。一般来说,用户对速度小于5秒的站点会有一定的偏好,即使站点不是很好,因为它可以采取先入的方式,让用户能先感受到站点的速度,自然给用户良好的印象。此时,如果站点访问速度慢,那么站长更新内容会花费很多时间,自然很难维持每天的更新。因此,只要你想长期做站长,就必须追求一定的速度,开辟自己的空间,不仅为蜘蛛,而且要提高用户体验。今天,作者将讨论如何有效地提高网站访问速度:   一、尽量少用图片和FLASH   所有站长都知道图片不适合网站优化,因为搜索不够很好的识别图片的内容,只能使用alt标签粗略判断图片的内容,而图片由于成分多,自然加载时间较长。如果您使用大量图片而不是主页,除非您单独使用服务器,否则访问速度非常慢。另外,flash的加载速度比图片快,flash的搜索报价根本无法识别,这不仅导致访问速度慢,而且不利于网页的搜索 [阅读全文]

2 为什么我们的网站排名不好?

  作为一名网站优化师,最纠结的就是自己网站排名不好,但是其他平台转发自己的内容排名非常好,那么如何才能解决这个问题呢?   为什么自己的网站内容,但排名就是比不上转载的平台,其实根本的原因还是自身网站权重并不高。这直接导致我们的网站SEO优化效果不好。   至于提升网站权重的方法,相信SEO优化同行们都能说出一二,但对于绝大多数网站来说,存在的几点问题如果不解决,那么网站权重想提升太难太难。   一、原创内容是否在自己网站?   很多自媒体平台都希望自媒体人可以在平台文章,一些签约自媒体内容4小时内不允许发布到其他平台。其实网站何尝不是如此,原创内容是否在自己网站且几小时后才发布到其他平台?   大多自媒体平台都是可以秒收,小编认为一个优质的网站也应该可以秒收,即使不能秒收也应该4小时甚至1小时内收录。   二、怎样快速让搜索引擎收录?   为了保护原创,现有的搜索引擎平台都支持站长主动提交新数据。所以即使我们的网站被搜索引擎抓取频率不高,也是可以主动提交数据的。   如果自己的网 [阅读全文]

系统提示

登录密码错误!!!