点击精灵Logo
您的位置:首页 >seo中级

WordPress网站的robots.txt文件写法

来源:精灵SEO 发布时间:2020-04-28

  robots.txt文件是一个放置在网站根目录的协议,它的主要作用是用来正确引导搜索引擎蜘蛛抓取和收录页面,告诉搜索引擎哪些页面可以收录而哪些不可以,关于robots.txt文件的写法,不同的网站程序有不同的写法,下面笔者就来说说WordPress网站的robots.txt文件写法。

WordPress网站的robots.txt文件写法

  在了解WordPress 网站的robots文件写法之前,先来了解下robots.txt 的基本写法

  1. User-agent:

  表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛。

  2. Disallow:

  表示禁止访问。

  3. Allow:

  表示运行访问。

  通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。

  4. *和$的使用规则:*表示通配符

  例如:Disallow: /cgi-bin/*.htm

  表示禁止收录cgi-bin文件夹下的所有htm后缀的文件。

  或者

  Disallow: /*?post=

  表示禁止收录含有“post=”字符的地址。

  $用于通指禁止访问某后缀的文件

  例如:Disallow: /*.css$

  表示禁止收录以css后缀的文件。

  5. Sitemap规则:Sitemap用来告诉搜索引擎网站地图的位置

  例如:Sitemap: http://www.muyiblog.com/sitemap.xml

  网站哪些地方需要使用robots协议

  1. 无用页面,很多网站都有“联系我们”、“关于我们”等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow命令禁止这些页面被搜索引擎抓取。

  2. 动态页面,屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。

  3. 网站后台页面,网站后台也可以归类为无用页面,禁止收录有百益而无一害。

  通过以上我们知道robots.txt文件的基本写法和哪些地方需要使用robots协议,那针对WordPress程序搭建的网站,robots.txt如何写呢?

  禁止收录WordPress系统文件:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-content/

  Disallow: /wp-includes/

  禁止收录重复的内容、动态页面、以及trackback等垃圾信息:

  Disallow: /*/comment-page-*

  Disallow: /*?replytocom=*

  Disallow: /*/trackback

  Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  Disallow: /?s=*

  Disallow: /*/?s=*\

  Disallow: /attachment/

  综合上述的写法如下:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-content/

  Disallow: /wp-includes/

  Disallow: /*/comment-page-*

  Disallow: /*?replytocom=*

  Disallow: /*/trackback

  Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  Disallow: /?s=*

  Disallow: /*/?s=*\

  Disallow: /attachment/

  Sitemap: http://www.djjlseo.com/sitemap.xml

  最后将代码编写在记事本上,然后保存为robots.txt文件,通过FTP上传到网站的根目录就可以了;如需要检测robots协议是否正确生效,可以登陆百度站长平台进行Robots检测。

  关于WordPress网站的robots.txt文件写法,笔者在本文已做分享,当然以上的只是提供参考,robots.txt文件还需要根据你网站的实际情况去写。

相关文章内容简介

1 网站seo优化文章发布时间的重要性

  最近小编经常会遇到客户问,说:“网站文章怎么发,搜索引擎才会收录,关键词才会有排名?发文章时间段有没有规律或者什么技巧吗?”小编就文章发布时间这个问题谈谈自己的看法,seo大咖不喜勿喷,毕竟大部分人对seo来说还是小白级别。   大家都知道,一个网站的关键词排名好不好,和网站很多seo优化指标有关系,像网站关键词设置、网站关键词外链、内链、友情链接、网站服务器稳定性、301设置等等。其中网站文章的更新发布,也是一个很重要的指标。网站关键词是不是有排名,或者排名是不是稳定,和网站搜索引擎收录有很大的关系。一个网站搜索引擎收录仅仅就十几条信息,网站的关键词排名肯定不会很好的。或者有人说,我就见过这样的网站,收录就两条,但是排名一直在首页。小编只能说,这个是另类及其个别的现象。你想你的网站也这样,还是打消这种念头吧。搜索引擎存在的根本,其中一条就是不断的给大家,提供最新有价值的信息。   大家既然知道网站发布信息,对网站关键词排名有很大的影响。那么就会想知道,什么样的文章搜索引擎喜欢, [阅读全文]

2 百度镜像网站 网站seo该怎么处理?

  百度镜像网站 网站seo该怎么处理? 有时候我们在百度搜索引擎上面搜索自己网站关键词的时候,搜到了自己网站的关键词的时候,发现标题和我们网站标题一模一样,也没有看域名,就直接点击打开了,忽然就发现怎么是别人的域名,但是网站布局内容等都是和自家网站一模一样,很着急,又怕别人利用自己的网站在互联网上做违法的事情,一时间不知道该怎么处理才好,如何才能让对方不要出现在互联网上面,接下来精灵seo工程师就告诉你如果在百度搜索引擎上面看到自家网站被镜像了,该如何处理。   一、啥叫网站镜像   网站镜像就是对方用镜像工具把你网站给镜像过来了,除了域名外,你网站更新的同时对方镜像的网站也跟着同步,这就是属于网站镜像。   二、百度镜像网站,站长该如何处理?   1)屏蔽镜像站点IP   如何屏蔽自己网站在百度上面被对方镜像网站的ip呢?首选你要确定对方网站的ip,你可以通过百度统计代码、日志分析工具查询都可以查到对方ip进行搞定。还有就是如果你的网站采用了CDN加速器的话,想要查找对方网站 [阅读全文]

系统提示

登录密码错误!!!