点击精灵Logo
您的位置:首页 >seo中级

浅谈SEO养蜘蛛攻略

来源:精灵SEO 发布时间:2020-05-27

  浅谈SEO养蜘蛛攻略!众所周知,只有被搜索引擎蜘蛛抓取并被收录的页面,才有可能参与到搜索结果排名的竞争中,所以如何建立网站与搜索引擎蜘蛛之间的关系,是站长们最为关注的问题。

浅谈SEO养蜘蛛攻略

  搜索引擎蜘蛛(又被称为:网页蜘蛛、网络爬虫),采用极其复杂的抓取策略去遍历互联网中尽可能多的网站,而且还要在保证对网站用户体验不受影响的综合考量下,抓取更多有价值的资源。各大搜索引擎每天都会派出大量蜘蛛,起点一般是权重比较高的网站或是访问量很大的服务器。

  搜索引擎蜘蛛会顺着内外链入口访问更多的网站页面,把网页信息存入数据库。就像图书馆一样把不同的图书分类整理,最后压缩加密成自己可以读取的方式放在硬盘上,供搜索的用户索取。我们搜索的因特网,就是这个数据库。

  从搜索引擎蜘蛛抓取的原理来看,SEO站长要想培养蜘蛛定期抓取网站,应该做到以下三点:

  一、规律性更新高质量的网站文章内容

  首先,搜索引擎蜘蛛喜欢抓取规律更新的网站。从一定意义上说,网站的更新频率与抓取频率是成正比的。即使在网站前期没有蜘蛛来抓取文章,也要定期更新。这样蜘蛛才会获取并统计这个网站更新的规律,定期来进行新增内容抓取,使网站文章更新后,能够尽可能快的被抓取到。

  其次,原创度、新鲜度较高的文章内容更容易被蜘蛛抓取收录。网站如果存在大量重复性的内容,会让蜘蛛觉得抓取太多而没有意义,还会使搜索引擎对网站质量产生质疑,甚至会导致惩罚。“新鲜度”主要指内容的热门程度和实效性,新近发生的“大事”、“热门事件”是比较容易被用户关注和被蜘蛛抓取。

  除了以上两点外,关键词的分布也对蜘蛛的抓取有重要的影响。因为搜索引擎分辨页面内容的重要因素之一就是关键词,但是关键词过多的堆砌会被搜索引擎视为“作弊”行为,所以关键词的分布应该在控制在2%-8%左右的密度。

  二、确保服务器稳定工作

  服务器的稳定性不但关系到网站用户体验度的问题,还会对蜘蛛的抓取造成很大影响。站长们应该定期检查服务器状态,查看网站日志,检查是否有500状态码等标记,及时发现存在的隐患。

  如果网站遇到黑客攻击、服务器网站误删、服务器硬件瘫痪等问题,并且宕机超过12个小时,应该立即开启百度站长平台的闭站保护功能,防止百度误判断网站出现大量抓取无效及死链页面,应及时修复网站与服务器。

  长期不稳定的服务器会导致蜘蛛不能有效爬取页面,降低搜索引擎友好度,从而出现收录下降、排名下降的情况。所以网站一定要选择性能稳定的服务器。

  三、优化网站结构

  如果网站内容好,但是页面却收录却寥寥无几时,多数是因为页面根本没有被蜘蛛爬取。这时就应该对网站进行全面检测,主要包括Robots文件、页面层级、代码结构、网站链接等方面。

  1、Robots文件,全称“网络爬虫排除标准”(Robots Exclusion Protocol)。网站通过Robots协议可以告诉蜘蛛哪些页面可以抓取,哪些页面不能抓取。

  2、页面层级,表现在网站物理层级结构、逻辑层级结构等多方面。以逻辑层级结构URL结构为例,方便记忆、层级简短、长度适中的静态URL是被搜索引擎蜘蛛所喜爱的。URL结构(以“/”为划分标志),一般不宜超过4层,结构太复杂不利于搜索引擎收录,也会影响到用户体验度。

  3、网站代码类别、结构也会影响网页是否被蜘蛛抓取。如:IFRAME、JavaScript等代码,目前还不能被百度搜索引擎蜘蛛有效的理解、抓取,所以需要尽量减少这类代码的使用。另外,过大的代码量也会导致蜘蛛抓取不完全。

  4、网站链接是网页间权重传递的“入口”,链接的数量和质量,直接影响到页面能否被蜘蛛抓取和收录。低质量链接堆砌只会给网站带来毁灭性的灾害,且还要及时排除错误链接和死链接,减少蜘蛛对死链接的抓取时间。尽量多从正规和相关站点获得反向链接,这样才可以提高网站的权重。

  另外,网站也可以给蜘蛛提供一些快捷通道,比如sitemap。一个结构清晰的网站地图能让搜索引擎蜘蛛清楚的了解网站结构从而顺利的抓取整个网站页面。

  通过高质量内容更新、优质的链接交换、以及合理网站结构,可以让搜索引擎蜘蛛更好的了解网站,抓取网站页面。但是不能为了吸引蜘蛛抓取而发布一些和网站内容无关的页面,或是过度优化网站。因为只有真正用心去做,并且能给用户带来价值的网站,才能被搜索引擎和用户喜欢

相关文章内容简介

1 采集来的内容能被百度收录么?百度如何收录采集的文章?

  内容的问题这个就复杂了,为什么说内容的问题很复杂,因为有的内容千篇一律,一旦竞争增加了排名就会下降。内容的问题其实就是要解决采集以及内容价值的问题。你怎么保证内容是不一样的。这个问题你怎么样来解决。怎么样来根据自身行业特色来制定设计内容,又能满足用户的需求,这个问题不解决你去网络采集文章,网站怎么可能会有好的收录,会有好的排名采集不是不可以,但你要保证能够提升页面附加值,在能够解决用户需求的基础上增加受众率(提升点击和阅读量,评论量)。   首先,比如一篇文章被新浪复制了,跟被一般的网站复制了,他的价值都是不一样的,而搜索引擎能够辨别出来。我们现在讲的价值问题,需求问题就是这个问题。就是受众的问题。这个受众的问题其实是非常简单的,也就是说我们页面里面的所有的内容,我们去采集别人的内容。   其次,你采集来的文章要保证有附加值,就是你要保证在这篇文章放到我网站上来时,他的价值是被放大过的,而不是减少的,那我们在弄这样的文章到我们网站上面,他的价值是要增加的,比如在文章专业度上、图文 [阅读全文]

2 WordPress伪静态配置规则与设置方法

  WordPress建站程序中默认链接是参数的形式,也就是常说的动态链接,这种链接对于SEO来说并不是很友好,所以一般我们都会对WordPress中的固定链接格式进行修改,配置成伪静态格式。伪静态与静态的区别就是链接看起来是和静态页面链接一样,但是其实页面还是程序动态生成的,更有利于蜘蛛的抓取以及用户的浏览体验。   比如mod_rewrite模块、伪静态规则的配置,具体可以咨询服务器管理员,另外部分服务器可能不支持中文链接,这个需要注意。   进入WordPress后台设置>固定链接,其中第一个“朴素”就是默认的设置,后面几个是WordPress给出的几个可选项,如果都不是你喜欢的链接格式,那么也可以使用最后一个自定义结构。   1、自定义结构规则   使用自定义结构的话,就需要先了解下有哪些可以设置的参数了。WordPress官方文档列表如下:   %year%基于文章发布年份,比如2007;   %monthnum%基于文章发布月份,比如05;   %day%基于文章发 [阅读全文]

系统提示

登录密码错误!!!