点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 SEO实现99%收录的操作秘籍

  做SEO最关心的是收录排名,收录是排名的前提,所以今天小编来给大家分享实现99%收录的操作秘籍。   一篇高质量文章是排名的基础,文章要有层次,内容要完整,符合客户需求,能为客户解决问题。   什么样的页面不利于spider抓取收录?   ■页面含有太多spider无法识别的弹窗、javascript、图片、flash等;   ■文章段落格式没有层级,文本堆砌在一起;   ■标题过度优化,标题过长,超过搜索引擎检索的字符范围;   ■页面质量过低,伪原创,采集的内容过多,与搜索引擎已收录的索引库重复;   ■轻易修改标题,布局,网页三要素,导致搜索引擎不信任;   ■打算被spider抓取收录的页面不能用robots.txt屏蔽掉。   如何才能写出高质量页面并提升收录效率?   ■标题新奇,不与搜索引擎索引库已收录的页面标题过度重复;   ■页面排版布局有序,段落格式清晰;   ■优化对于蜘蛛不友好的js,图片,falsh,图片,falsh等要注明alt;   ■所写内容包含用 [阅读全文]

2 从SEO工作原理中找到SEO操作点

  搜索引擎就像是一个打分的老师,只有真正了解了搜索引擎,网站的分数才能得到最高。   要想在搜索引擎上站稳脚跟,那么我们就需要知道它的四大工作原理——抓取、过滤、收录、排序。   1,抓取:搜索引擎需要抓取网页内容,被抓取到数据库中。可以通过外链、提交链接将百度蜘蛛引过来,使其对网站内容进行一个抓取。   因此,为了使蜘蛛抓取网站更好,我们需要避免以下几个问题:   a、路径不能过长,   b、不能使用中文路径,   c、不能拒绝蜘蛛的抓取。   2、过滤:当蜘蛛将我们的站点形式发展抓取以后,蜘蛛会将这些内容进行过滤。   那末咱们就需要懂得蜘蛛需要过滤掉什么内容?   a、文字、图片、视频、链接,   b、网站反映速度,   c、网站权重、信用度,   d、页面质量,   e、页面相似度。   之后,搜索引擎需要过滤几次要求都知道,做有利于用户对搜索引擎的内容将会事半功倍!   3、收录:过滤掉一些垃圾信威海百度息之后,搜索网站盈利引擎就会一个网将这些过滤之后还剩下的网站内容进行 [阅读全文]

系统提示

登录密码错误!!!