点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 网络推广公司能够帮助我们做哪些工作?

  你知道网络推广营销是什么吗?网络推广公司能够帮助我们做哪些工作?网络推广营销它的概念是比较笼统的,它包含了SEO优化、百度竞价推广、论坛发帖、博客发帖等等。简单点说,网络推广就是包含了免费的方式已经付费的方式。今天这篇文章就能够很好的让我们了解网络推广公司。   首先是SEO优化服务。这一项工作就是能否帮助网站通过符合搜索引擎算法的方式帮助网站提升排名。主要包括了网站内容或者是网站模块的修改,产品关键词的密度等等方式。如若自己公司没有属于自己的网站,那么网络推广公司就会帮你设计制作一个营销型的推广网站建设了。   其次是SEM服务。这项网络推广服务就是我们所说的竞价推广,也就是我们在网页上看见的标有广告位的推广服务。SEM服务主要是通过统计后台数据,扩充关键词词库,打造出低价格的长尾关键词。给网站打造一个全新的形象,提升搜索引擎的排名,从而促进网站点击量的提升,促进网络咨询量。   第三个就是其他方面的服务。包括了在B2B行业网站、公众号、微博等企业账号上发布信息。从而使得网站得 [阅读全文]

2 从本需出发选择网页设计三大类型

  网站建设浅谈从本需出发选择网页设计三大类型。现在都讲究垂直领域,网站建设也是如此,就像某综艺节目,一位专业歌手败给了业余歌手,虽然带有一点娱乐性,但是这位专业歌手还是发出这样的感叹:“这个节目很好,但是第一却让一个非专业歌手拿了,让人遗憾!”各个行业都这各个行业的界限,偶尔玩一下票可以,不过,正经一点的话儿,还是找最为合适自己的为上。   在网页设计中,随着市场需求的变化,网站功能的复杂化,垂直化,对于网页的要求也发生了很大的变化,现在网站运营和以前比较,大而全的网站需要大量的运营人员,而且效果不是特别显著,在增加运营成本的同时也让网站的发展不明朗化,相反,那些小而精悍的网站,反而有着更多的发展空间,目前,网页设计主要有一下三种类型:   形象型网页设计   这类网站的特点是突出品牌形象为主,大多数是作为企业“名片”的角色出现的,一些企业市场远景很好,在互联网时代,自然不能错过这个渠道,通过网站来展示品牌,是形象型网站的主要特色之一。   这种类型网站,特别重视视觉效果,对网站设 [阅读全文]

系统提示

登录密码错误!!!