点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 怎么做可以快速增加SEO优化效果

  当我们创建和发布一个网站,我们应该怎么做,使我们的网站索引的搜索引擎?那么我们的网站必须符合搜索引擎的收录规则。让我告诉你一些技巧,以迅速增加SEO优化中收录的数量。   一、提交站点地图   每天更新网站上的文章后,我们需要更新网站地图,然后将地图提交给百度,这样百度就可以通过地图访问你的网站。   二、根据百度官方声明   1、优先考虑原始内容。当然,尽量做到原创,但平时我们对客户网站的维护是非常专业的,而且我们的水平是有限的,我们只能做伪原创。   2、对于一些权重较高的网站来说,如果收录到一些小网站的文章,百度可能对小网站的情况没有把握,所以小网站可以通过ping机制ping百度,这将有助于百度知道哪个是原创。   3、作者通常按照百度官网的说明操作,然后发布一些网站的外部链接,收录速度更快,权重更高。   三、网站上文章之间的链接   在SEO优化中,无论是文章之间还是栏目与网站主页之间,都需要一个或多个链接路径。此路径是爬虫在您的网站上爬网的链接,用户也可以单击它。链 [阅读全文]

2 6种提升网站关键词排名的方法

  提高网站排名的方法一直是SEO优化师想了解的内容。针对这样的问题,下面小编做了如下分析,希望对大家有所帮助。   1、网站结构合理   网站架构是SEO的基本组成部分,主要涉及到代码精简、目录结构、网站收藏、网站跳转率等方面,合理的架构可以使搜索引擎更好地掌握网站的内容,给访问者带来舒适的体验。   2、高质量内容   内容是网站的根。没有好的内容,就没有稳定的访客。在SEO,好的内容是为用户和搜索引擎。好的SEO文案可以找到他们之间的共同点。   就像餐馆一样,无论位置、装修、服务多好,食物不好吃就没用。但在SEO方面,好的内容不仅是为了用户,也是为了搜索引擎。一个优秀的营销文案可以有效地实现订单转化,就像为用户开火锅店一样,味道好、味道好。同时,一个好的营销副本将出现,这可以与你的用户产生共鸣。   3、高品质的外部链接   尽管外部链的作用正在减弱,但对于那些被搜索引擎抓获得很好的网站来说,他们只需要在内容上做得很好,这样就能获得好的排名。但对于很多新网站来说,搜索引擎如何 [阅读全文]

系统提示

登录密码错误!!!