深度分析wordpress优化之robots优化

首先介绍一下robots文件是什么东东?rebots的作用是通过它来告诉搜索引擎的机器人(Spider)那些目录可以爬,哪些不可以爬。在WordPress中阻止Spider爬行一些目录和文件,不但可以有效的节省搜索引擎对服务器带宽的占用,还可以提高网站在搜索引擎中的排名。知道了什么是robots.txt,那么就要知道wordpress中robots.txt怎么写的?这可很重要哦,你也从百度百科里知道了,robots.txt是搜索引擎中访问网站的时候要查看的第一个文件,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt编写可是对网站内容收录很重要的哦,知道了robots.txt文件的重要性,下面就给大家介绍一些WordPress博客中robots.txt怎么写?最简单的开放写法:
User-agent: *
Disallow:
使用说明:允许所有蜘蛛访问,允许访问所有内容。Wordpress只要模板中链接设计合理,没有需要限制的特殊内容,推荐使用这种写法。
最简单的严格写法:
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
使用说明:允许所有蜘蛛访问,限制以“wp-”开头的目录及文件,限制抓取.php文件、.inc文件、.js文件、.css文件,限制抓取搜索结果。
Disallow: /wp-* 会连同附件目录一起限制抓取,如果想让搜索引擎抓取附件中的内容,将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。
最合理的写法:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://domain/sitemap.xml
使用说明:允许所有搜索引擎抓取,逐一列举需要限制的目录,限制抓取搜索结果。
包含sitemap.xml地址(这一项wiki中有专门的说明,但Google管理员工具会提示‘检测到无效的 Sitemap 引用’,有效性尚有争议)。
robots.txt其他写法:为避免在搜索引擎中出现重复页面,Wordpress玩家自创了很多robots写法,列举一些常用的,作为参考(适用于伪静态方式的永久链接):
* Disallow: /page/ #限制抓取Wordpress分页
* Disallow: /category/*/page/* #限制抓取分类的分页
* Disallow: /tag/ #限制抓取标签页面
* Disallow: */trackback/ #限制抓取Trackback内容
* Disallow: /category/* #限制抓取所有分类列表
以我的博客为例,robots文件如下:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.datacentersky.com/sitemap.xml
这样就你可以达到通过robots来达到优化你的wordpress的目的了。

weinxin
DC Farm小程序二维码
扫一扫添加博客小程序
Jim

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:2   其中:访客  1   博主  1

    • avatar Sam 0

      标题写错了!

      • 激劉勇靖 激劉勇靖 Admin

        谢谢提醒哦@Sam