点击精灵Logo
您的位置:首页 >seo中级

如何查看网站被百度抓取的情况?

来源:精灵SEO 发布时间:2021-05-10

  百度用于抓取网页的程序叫做Baiduspider-百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

如何查看网站被百度抓取的情况?

  如何查看网站被百度抓取的情况?

  查看日志的方式:

  通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

  因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

  日志内容如下:

  61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/bbs/thread-7303-1-1.html HTTP/1.1"200 8450"-""Baiduspider+(+http://www.baidu.com/search/spider.htm)"

  分析:

  GET/bbs/thread-7303-1-1.html代表,抓取/bbs/thread-7303-1-1.html这个页面。

  200代表成功抓取。

  8450代表抓取了8450个字节。

  如果你的日志里格式不是如此,则代表日志格式设置不同。

  很多日志里可以看到200 0 0和200 0 64则都代表正常抓取。

  抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

  在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。


相关文章内容简介

1 做SEO有哪些成本?

  很多人在讨论SEO的优势时会提到,SEO是免费的。其实SEO并不免费,也是要付出成本的。这里所说的成本不是指使用其他公司来优化网站的服务费用。就算你的网站不用任何外部服务,也不买任何软件,完全自己动手优化,也是要付出成本的。有时这个成本还很高。   一、人力成本   最显而易见的是人力成本。网站本身一般来说只要大规模优化一次,以后再小幅度修改即可,这部分的人力成本也许可以算入技术部门。但是外部链接建设、网站流量的跟踪、SEO策略更正、发现热点建设专题内容、遇到问题时分析寻找原因等这些工作,都不是一次性的,需要常年进行,这就必然需要有专门的SEO人员。对一些大网站来说,可能还需要一个SEO团队,工资等人力成本往往比外部服务费还要高很多。   二、机会成本   另一个不容易直接看到的是时间及机会成本。通过SEO做流量是需要一段时间的,尤其是新站。不要指望几个月内有很好的流量,对SEO的预期效果至少要放在半年到一年之后。但网上机会稍纵即逝,某些当红类型的网站要想迅速占领市场,靠SEO推 [阅读全文]

2 SEO团队需要怎样的配置?

  1、分析行业用户需求,挖掘关键词,整理出至少5000个关键词。   2、根据关键词制定相关的关键词着陆页,并且撰写网站开发方案。   3、对网站进行外包,建议到A5平台发布任务,该平台的网站开发速度和质量都比较好,价格也比较合理。   4、程序开发完成后要精细详细的调试,首先要确定程序安全,没有漏洞,其次要分析是否符合SEO需求,比如网页是否可以实现HTML静态,TDK标签是否可以实现自定义,<h1>、<h2>、<h3>标签是否合理,等等   5、联系文章编辑外包人员,告诉其网站行业需求,详细介绍关键词,和外包人员一起制定内容编辑方向和发布频率。   6、对外包人员发布的内容进行实时监控,主要检查发布的内容是否包含挖掘的关键词,上下文是否和关键词相关,内容收录率怎么样,出现问题及时和外包人员沟通。   7、对网站内容收录,关键词排名等情况进行数据分析,调整计划。 [阅读全文]

系统提示

登录密码错误!!!