神州彩票怎么注册: SEO优化之robots的优化

神州彩票app下载安装 / 网站优化 / 时间:2017-03-11 10:06

神州彩票app下载安装 www.38uoo.com.cn 1、概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.baidu.com/robots.txt;

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

2、robots的写法

# robots.txt file from //www.38uoo.com.cn

# All robots will spider the domain

User-agent:*

Disallow:

①允许搜索引擎访问所有部分

User-agent:*

Disallow:

②禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

③禁止搜索引擎访问某几个部分

User-agent:*

Disallow:www.mna5.com/123.html

Disallow:www.mna5.com/456.html

Disallow:www.mna5.com/789.html

④允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

⑤禁止所有浏览器访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

⑥禁止除了百度浏览器以外的所有搜索引擎抓取任何内容:

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

⑦$:通配符,匹配url结尾的字符。禁止百度抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$


神州彩票app下载安装半杯酒博客文章,转载请注明原文网址摘自 //www.38uoo.com.cn/wangzhanyouhua/19.html,谢谢配合!

微信扫一扫,关注我们
1
神州彩票app下载安装
  • 新疆公益组织,公益求助,晨报救命血联盟 2019-02-21
  • 文章背后的女人你了解吗?生活中的马伊琍原来是这样 2019-02-20
  • 大力推动同等待遇 深化同胞心灵契合 2019-02-19
  • [雷人]不管什么税,只有还能通过二次交易获利,就有炒作的空间,房价一样是不会恢复合理的! 2019-02-18
  • 人民网评:“疯狗咬人”提醒城市管理者需重视一个问题 2019-02-17
  • 全国百家网络媒体全媒体记者彭水采风活动 2019-02-17
  • 宋冬:艺术与生活可以相互塑造,艺术就在我们身边 2019-02-16
  • 三部门做好党和国家机构改革有关国有资产管理工作 2019-02-16
  • 净慧长老:生在福中要知福惜福 2019-02-15
  • 江西出台12条措施促科技创新平台发展最高补助1000万 2019-02-15
  • “两票制”能否止住药价虚高? 2019-02-14
  • 2018“一带一路”与澳门发展国际研讨会圆满闭幕 2019-02-13
  • 设计众议院:神奇的MQB让全新一代宝来重生 2019-02-13
  • 2018年第三批“中国梦·大国工匠篇”大型主题宣传活动启动 2019-02-12
  • 高清:国羽结束奥运前集训返京 谌龙信心满满 2019-02-11
  • 45| 225| 629| 587| 260| 312| 49| 991| 1| 736|