点击精灵Logo
您的位置:首页 >seo中级

如何查看网站被百度抓取的情况?

来源:精灵SEO 发布时间:2021-05-10

  百度用于抓取网页的程序叫做Baiduspider-百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

如何查看网站被百度抓取的情况?

  如何查看网站被百度抓取的情况?

  查看日志的方式:

  通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

  因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

  日志内容如下:

  61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/bbs/thread-7303-1-1.html HTTP/1.1"200 8450"-""Baiduspider+(+http://www.baidu.com/search/spider.htm)"

  分析:

  GET/bbs/thread-7303-1-1.html代表,抓取/bbs/thread-7303-1-1.html这个页面。

  200代表成功抓取。

  8450代表抓取了8450个字节。

  如果你的日志里格式不是如此,则代表日志格式设置不同。

  很多日志里可以看到200 0 0和200 0 64则都代表正常抓取。

  抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

  在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。


相关文章内容简介

1 新站关键词排名为什么会忽上忽下

  每个人都期待自己优化的网站有一个稳定的排名,尤其是主关键词。但是很多时候,除了一些长尾词之外,主关键词排名会忽上忽下,是什么原因引起的?   新站排名经常会出现关键词上下波动,一天有排名一天没有排名,多是因为网站的上线时间短导致的,这个属于正常情况。为什么新站会出现这种排名波动呢?因为一个上线的新站,想要在百度获取好的排名是很难的一件事,原因大概有三,一是收录太少,网站收录都没有,谈什么参与排名?第二个是受众少,不想老站那样会有忠实的粉丝用户,会寻址访问或者收藏夹访问,获得网站投票的外链和友链都没有都几乎没有;三是网站内容质量问题,一般新站的内容都是比较少的,很多功能模块还不完善,所以与老站丰富的内容相比还是有一定差距的。   那新站是不是就没有机会获得网站排名了呢?当然不会,百度对于新站是有一定照顾的,所以现象就来了,你会发现有时上线一个网站,几天之后就会有首页的排名,还能够坚挺排名几天,但是几天之后排名就全掉了,再过几天,排名又会这样周而复始,简称排名忽上忽下。百度通常给新站 [阅读全文]

2 高指数的关键词该如何优化

  一般网站优化指的是关键词指数在500以内,优化的效果更好,更快。高指数一般是百度指数1-2k范围内的。今天给自贡SEO小伙伴们,一起讨论高指数关键词的优化方式和思路,不代表权威性,仅供SEO爱好者借鉴。   操作流程:   1、分析关键词,确认网站主关键词,然后选择2-3个辅助关键词,注意关键词的关联性和选词方法;   2、围绕用户心理,分析用户的来源和搜索喜好等等;   3、合理分布关键词,无论是频道页或者栏目页,都需要根据服装主关键词来部署相关词和长尾词,以便后期获得长尾流量;   4、文章上传的频率要高,前3个月每天至少2篇文章,每篇文章带至少一张图片,图片与文章内容有相关性;   网站上线之后,接下来就是需要一个团队围绕这个主关键词进行合理的分工,人员配置方面至少需要外链专员、编辑、推广专员、团队负责人(主管),具体的人数按需而定。外链专员需要做的是产生高质量外链,找寻高质量友链,外链以锚文本为主要目标,其中90%的锚文本指向首页,10%的锚文本指向内页,如果有能力操作链 [阅读全文]

系统提示

登录密码错误!!!