点击精灵Logo
您的位置:首页 >搜索引擎

各大搜索引擎蜘蛛的介绍

来源:精灵SEO 发布时间:2020-02-14

  众所周知,搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。

  一般用法为“spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…

各大搜索引擎蜘蛛的介绍

  1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面,导致其他页面无法被抓取到而不能被收录。这种情况可以采取robots协议的方法来调节。

  2、谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

  3、雅虎中国蜘蛛:如果某个网站在谷歌网站下没有很好的收录,在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高。

  4、微软必应蜘蛛:必应与雅虎有着深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多。

  5、搜狗蜘蛛:搜狗蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点。最大的特点是不抓取robot.text文件。

  6、搜搜蜘蛛:搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。

  7、有道蜘蛛:和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。

  搜索引擎蜘蛛的抓取规则,如下四点提供参考:

  1、搜索引擎蜘蛛要能看到链接文字

  这个是搜索引擎蜘蛛爬行时能够检索到的文字,如果文字或链接是通过JavaScript调用,蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利,例如产品名称放到页面越靠前的位置,对该页面产品关键词的排名越有利。

  2、搜索引擎蜘蛛能爬行未经nofollow处理过的链接

  这一项列出的是搜索引擎蜘蛛能够检索到链接,蜘蛛能够通过这些链接访问网站其他页面,越靠前的链接,被蜘蛛爬行的几率就越大,被搜索引擎收录的可能性越高。

  3、搜索引擎蜘蛛能发现图片链接并能阅读到这些图片所包含的含义

  这里主要展示该页面被搜索引擎蜘蛛和国际W3C标准化监测器所检索到的图片,搜索引擎能够根据图片at=""去判断该图片的类型,性质和主题,对于判断该图片链接的页面的主题有巨大帮助,能有效提高商品展示页的搜索引擎排名根据W3C标准,页面上所有图片都必须添加alt=""图片注释,网站Logo使用网站名称加简短描述,商品图片使用商品名称,网页框架图片留空。

  4、搜索引擎蜘蛛能很好地识别HTML代码

  模拟搜索引擎蜘蛛爬行该页面时,获得的“最简化代码->是指过滤css,JavaScript后的代码”,由此可以看出减少代码空行,换行,空格等多余代码空间非常重要。


相关文章内容简介

1 过犹不及,SEO过度优化要不得

  所谓的过度优化就是一个网站的优化痕迹过于明显,让搜索引擎认为你的站点就是一个垃圾站点,作弊站点。那么搜索引擎是如何判断一个网站是过度优化?   1、网站内容是采集而来的   有些优化的网站需要大量更新文案,而他们的文案从不自己撰写原创的,全部都是采集别人网站的内容,连标题到评论都一模一样,又或者是表达不清,有乱码等等情况。你可知道搜索引擎是不喜欢这样内容的。而且重复抄袭的内容本来已经储存在搜索引擎的数据库上,没有必须再把这些内容重复收录,网站的优化排名肯定不会好,在搜素引擎眼中,网站只是一个抄袭采集、过度优化的网站。   2、标题党   所谓的标题党,就是利用一个非常有诱惑力的标题来吸引用户点击,但实际上里面的内容都是不相关的,文不对题的。并没有解决用户点击进来所需要解决的问题,没有用户体验可言,在用户面前失去信任度。所以无论是网站首页栏目页的标题或是文章页的标题,都要对题,不能离题,有吸引诱惑力的标题,里面的内容要有吸引力,有作用,能解决用户点击的初衷。   3、网站内容之间是 [阅读全文]

2 浅谈处在不同时期的SEO优化思路

  处在不同时期的网站如何有针对性地进行优化呢?这个关于网站优化的问题,相信是大多数SEOer比较关注的,那么,我们先简单地了解一下吧,我们应该都知道,网站的发展过程都脱离不了三个阶段,也就是网站建站初期,中期以及后期了,而在网站的每个不同的阶段中,都应该要有不同的优化思维来优化好网站,从网站上线的初期,我们就应该要做好网站的基础优化,提高网站的综合得分情况,抓住最好的优化时机,在网站未来的优化和发展过程中,可以少走很多的弯路,从而可以使网站的优化和发展更加的顺利,好,接下来就给大家仔细讲解一下,处在不同时期的网站该如何具体地进行优化的吧。   一、网站初期的布局建设   1、网站未来发展方向的定位   网站建站的初期(这里讲的是还未上线之前的网站)一定要规划好网站未来的发展方向,这个是很重要的一件事情,如果你网站想要做大的话。那么,我们应该要如何规划网站未来的发展方向呢?这里我就给大家讲一下吧,例如:你网站未来要朝向什么领域发展,发展的空间有多大,潜力怎么样?预计的受众群体有哪些? [阅读全文]

系统提示

登录密码错误!!!