精灵SEO

seo

>

seo优化

>

网站优化

>

关键词优化

>
seo公司
您的位置:首页 >搜索引擎

各大搜索引擎蜘蛛的介绍

来源:精灵SEO 发布时间:2020-02-14

  众所周知,搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。

  一般用法为“spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…

各大搜索引擎蜘蛛的介绍

  1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面,导致其他页面无法被抓取到而不能被收录。这种情况可以采取robots协议的方法来调节。

  2、谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

  3、雅虎中国蜘蛛:如果某个网站在谷歌网站下没有很好的收录,在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高。

  4、微软必应蜘蛛:必应与雅虎有着深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多。

  5、搜狗蜘蛛:搜狗蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点。最大的特点是不抓取robot.text文件。

  6、搜搜蜘蛛:搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。

  7、有道蜘蛛:和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。

  搜索引擎蜘蛛的抓取规则,如下四点提供参考:

  1、搜索引擎蜘蛛要能看到链接文字

  这个是搜索引擎蜘蛛爬行时能够检索到的文字,如果文字或链接是通过JavaScript调用,蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利,例如产品名称放到页面越靠前的位置,对该页面产品关键词的排名越有利。

  2、搜索引擎蜘蛛能爬行未经nofollow处理过的链接

  这一项列出的是搜索引擎蜘蛛能够检索到链接,蜘蛛能够通过这些链接访问网站其他页面,越靠前的链接,被蜘蛛爬行的几率就越大,被搜索引擎收录的可能性越高。

  3、搜索引擎蜘蛛能发现图片链接并能阅读到这些图片所包含的含义

  这里主要展示该页面被搜索引擎蜘蛛和国际W3C标准化监测器所检索到的图片,搜索引擎能够根据图片at=""去判断该图片的类型,性质和主题,对于判断该图片链接的页面的主题有巨大帮助,能有效提高商品展示页的搜索引擎排名根据W3C标准,页面上所有图片都必须添加alt=""图片注释,网站Logo使用网站名称加简短描述,商品图片使用商品名称,网页框架图片留空。

  4、搜索引擎蜘蛛能很好地识别HTML代码

  模拟搜索引擎蜘蛛爬行该页面时,获得的“最简化代码->是指过滤css,JavaScript后的代码”,由此可以看出减少代码空行,换行,空格等多余代码空间非常重要。


相关文章内容简介

1 网站优化遇到瓶颈怎么办

  一个后辈,做了三四年的seo,在第三年冲破自身瓶颈,担任了seo主管,在帝都感觉似乎可以租一间好一点的房子,吃上好一点的午饭了,毕竟主管跟专员的待遇差了将近一大半,不管怎么说seo月入过万算是站在了一个新的起跑线,可喜可贺。可在升职不到三个月时,明显他感觉到了压力,感觉日子过的胆战心惊,时刻感觉饭碗不保,到了差不多半年的时候自己不得不炒了自己,辞掉了工作。我想压力对于每一个SEO人而言,一直摆在那里,挥之不去,无法避免。   各行各业的压力都摆在那里,SEO人的压力不仅是排名、流量与转化之间的关系,更重要的是如何更加快速的突破自身的瓶颈。如果说一个人连续三四年拿着没有上涨的工资,在没有其他外来收入的情况下,是很难自己说服自己的,大半的人都会开始怀疑人生,怀疑自己的能力,而这只是seo遇到的瓶颈之一。还有日复一日单调重复的工作,在没有得到好的反馈,没有boss的认可。为了突破瓶颈,很多SEO人开始改变方法,尝试进行转弯。   1.跳槽。   失业了,可房租要交,饭要吃,便得重新谋一 [阅读全文]

2 seo优化常见现象及处理方法

  相信做过seo优化的朋友,都应该在这个过程当中遇到不少很奇怪的现象,那么接下来就给大家总结下这些seo优化常见现象及处理方法。   1、沙盒期   对于沙盒期,只要是进入seo优化这个行业的人,基本上都遇到。首先来给大家解析下什么是沙盒?沙盒的意思是通常指新网站在前期很难在Google有好的排名,一般时间限制在6个月左右。为什么进入沙盒?一般进入沙盒的原因是网站突然增加了大量的外部连接。   2、炸弹   什么是炸弹?炸弹的意思是通过建立大量的外部连接,锚文本(连接文字)全部为关键字.致使网站强行上升排名。为什么会存在炸弹?因为搜索引擎算法问题,大量的锚文本让引擎误认为某个网站是最符合搜索请求的页面.对于新站来说,定时定量的添加锚文本比一次性大量的添加锚文本更能增加网站的权重。   3、幽灵   我们在生活中也经常提到幽灵这个词,觉得它是漂浮不定的东西。在seo优化当中,我们说幽灵指的是新站排名不稳定,忽高忽低的现象。为什么会出现幽灵?这个主要是因为搜索引擎防止作弊造成的。还一个 [阅读全文]

代理合作

电话/微信:18054233683

关闭
系统提示

登录密码错误!!!