神州彩票平台描述: SEO优化之robots的优化

神州彩票app下载安装 / 网站优化 / 时间:2017-03-11 10:06

神州彩票app下载安装 www.38uoo.com.cn 1、概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.baidu.com/robots.txt;

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

2、robots的写法

# robots.txt file from //www.38uoo.com.cn

# All robots will spider the domain

User-agent:*

Disallow:

①允许搜索引擎访问所有部分

User-agent:*

Disallow:

②禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

③禁止搜索引擎访问某几个部分

User-agent:*

Disallow:www.mna5.com/123.html

Disallow:www.mna5.com/456.html

Disallow:www.mna5.com/789.html

④允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

⑤禁止所有浏览器访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

⑥禁止除了百度浏览器以外的所有搜索引擎抓取任何内容:

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

⑦$:通配符,匹配url结尾的字符。禁止百度抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$


神州彩票app下载安装半杯酒博客文章,转载请注明原文网址摘自 //www.38uoo.com.cn/wangzhanyouhua/19.html,谢谢配合!

微信扫一扫,关注我们
1
神州彩票app下载安装
  • 2017不可错过的诚意之作 索尼耳机WH-H800 让音乐更自由 2019-05-26
  • 武汉市开展普法观摩活动 小学生现场开微班会学法 2019-05-25
  • “儿亦当格外奋发,兢兢业业以图成功”——读向警予写给父母的信 2019-05-25
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-05-24
  • 【专题】相约上合——风从海上来 上合组织青岛峰会 2019-05-23
  • 贵州官方宣布曼萨诺离任 佩特莱斯库出任新主帅 2019-05-22
  • 统帅关怀励兵心 矢志强军谋打赢——习近平视察北部战区海军发表的重要讲话在全军和武警部队引起热烈反响 2019-05-21
  • 南京研发应用交通违法市民“一键拍”举报平台 2019-05-21
  • 中国共产党第十九次代表大会 2019-05-20
  • 酸味-热门标签-华商生活 2019-05-19
  • 中超两将或联袂登场 非洲雄鹰能否再演黑马本色 2019-05-19
  • 19~24日赣北将出现入汛以来最强连续暴雨 2019-05-18
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-18
  • 准确的说,日本是美国的殖民地国家。 2019-05-17
  • 安农大选配50名资深教授担任产业联盟“盟主” 2019-05-17
  • 384| 404| 253| 970| 750| 958| 331| 884| 893| 343|