精灵SEO

seo

>

seo优化

>

网站优化

>

关键词优化

>
seo公司
您的位置:首页 >seo高级

SEO人员面对恶意“蜘蛛”如何处理?

来源:精灵SEO 发布时间:2020-03-06

  SEO人员面对恶意“蜘蛛”如何处理?在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。

SEO人员面对恶意“蜘蛛”如何处理

  经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。

  因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。

  那么,SEO人员面对恶意“蜘蛛”如何处理?

  1、搜索引擎爬虫

  对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

  ①360Spider、SogouSpider、Bytespider

  ②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

  ③其他爬虫

  如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

  这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

  ①控制更新频率的列表

  ②反馈大量重复性,内容农场的页面

  ③善意的“蜘蛛陷阱”比如:Flash

  ④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

  虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。

  2、链接分析爬虫

  从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。

  针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。

  如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。

  3、内容采集爬虫

  但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

  针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

  ①Linux平台:hostip

  ②Widows平台:nslookupIP

  从而去判断对方的解析地址,是否为对应的搜索引擎域名。

  4、蜘蛛池爬虫

  目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

  没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

  如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)推荐阅读:SEO页面优化需要注意的5个小细节

相关文章内容简介

1 网站优化到底该不该购买链接?

  网站优化到底该不该购买链接? 近两天来有几个学员问,是不是可以直接购买多些外链来快速提升排名啊,他们说自己没有这么多精力来做原创内容,再加上自己的写作能力薄弱。   欲速则不达,就算短时间达了,那也基本上是昙花一现,不具有可持续性,并还给网站带去被搜索引擎惩罚的风险,网站如果一下被惩罚了,想恢复起来也不是这么容易的事。   对于外链的购买自从百度绿萝算法推出后,已有不少链接购买交易平台纷纷关闭,站长之家原来就有一个链接交换板块,后面至绿萝算法推出后就立马将该板块关闭了,当初快排科技还专门撰写了篇原创文章谈到这一块。   那么在做seo优化时,到底该不该购买链接呢?对于这一点,只能说根据实际需求,适量购买一些优质相关平台的链接是可以的,而不是像以上学员说的自己原创内容没精力,写作能力薄弱,想靠大量购买链接来提升网站排名的思想,这是不明智的seo操作思维。   在如今seo优化中,原创价值内容,原创稀缺内容、如何增强用户体验等才是搜索引擎最爱,才是网站seo优化的核心思想,至于外 [阅读全文]

2 怎么使伪原创的内容秒收录?

  怎么使伪原创的内容秒收录?对于seo,大家都知道搜索引擎蜘蛛抓取喜欢原创类的内容,怎么使伪原创的内容秒收录?   什么是收录?   对于网站收录的概念,互联网中或者搜索引擎中已经有大量的相关定义。网站收录,指的是爬虫爬取了网页,并将页面内容数据放入搜索引擎数据库中这一结果。   如何增加收录?   1、收录入口   蜘蛛能爬取任何页面的前提,是要有入口。假设一个页面没有入口,就是我们俗称的孤岛页面,那么蜘蛛是无法爬取到的。我们在建设网站之初,就要考虑为蜘蛛留有足够的入口。具体包括:网站导航,网站地图,百度站长主动推送,外链发布,面包屑导航,站内相关推荐,上一篇下一篇,内容页内链锚文本等。   2、抓取规律   搜索引擎在爬取互联网中页面的时候,是有一定的爬取规律的。较广泛的说法有大站优先,权威站点优先,权重高站点优先,新闻源站点优先,广度爬取,深度爬取等。我们如何利用抓取规律提升收录量呢?较简单的做法是增加需要排名的页面更新频率与更新量,在内容更新位置,频率与数量上下功夫。    [阅读全文]

代理合作

电话/微信:18054233683

关闭
系统提示

登录密码错误!!!