织梦DedeCMS自身自带的robots.txt文件设置很简略,并不能完全知足网站的优化要求,怎样才干联合本人网站的状况,做好robots.txt优化呢?下面是我本人的一点设法,仅供参考,适用于未伪静态的DEDECMS网站。
User-agent: *
Disallow: /dede 治理后台名目,需要改名,具体设置背面具体讲
Disallow: /include 程序中心文件名目
Disallow: /member 用户治理名目,有些文件可以开放
Disallow: /plus 插件及辅助功能名目 ,有些文件可以开放,如search.php
Disallow: /templets 默许模板寄存名目
Disallow: /data 系统缓存或其它可写入数据寄存名目
Disallow: /uploads 上传下载文件保留名目,不想搜寻引擎援用图片的话,制止
Disallow: /images 系统默许模板图片寄存名目
Disallow: /index.php 网站默许首页,静态化的话,最佳制止
Disallow: /404.html
Allow: /plus/search.php 开放制止名目里的具体文件
...
根本设置就是这样,下面着重讲下后台治理名目和栏目页的设置:
1.dede名目,为了网站平安考虑需要改名。然而改名之后,大家不免迷惑:改了名,在robots.txt文件里怎么设置呢?直接制止抓取,还是泄露了后台名目,等于改名无效。那么该怎样解决这个题目呢?我们可以通过下面的设置解决这个题目,如后台名目为dedecms:
Disallow: /d*ms
这样我们就能即制止了搜寻引擎的抓取,又不会泄露了后台名目名称。
2.栏目页。有些人会注意到,要是网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_1_1.html,为了网站优化,倡议先将栏目分页优化下列(具体做法大家可以在网上寻),把首页和第一页的链接改为*/web/的情势,然后在robots.txt文件里做下列设置:
Disallow: /*1.html$
以上就是DEDECMS robots.txt文件的设置,大家可以依据本人网站的状况具体设置。
注意事项:
1.按官方注明设置好名目权限;
2.后台名目改后的名称开头字母和结尾字母不要和其他名目同样;
3.用baidu站长工具测试一下robots.txt文件设置可否有效。