神州彩票怎么注册: SEO优化之robots的优化

神州彩票app下载安装 / 网站优化 / 时间:2017-03-11 10:06

神州彩票app下载安装 www.38uoo.com.cn 1、概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.baidu.com/robots.txt;

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

2、robots的写法

# robots.txt file from //www.38uoo.com.cn

# All robots will spider the domain

User-agent:*

Disallow:

①允许搜索引擎访问所有部分

User-agent:*

Disallow:

②禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

③禁止搜索引擎访问某几个部分

User-agent:*

Disallow:www.mna5.com/123.html

Disallow:www.mna5.com/456.html

Disallow:www.mna5.com/789.html

④允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

⑤禁止所有浏览器访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

⑥禁止除了百度浏览器以外的所有搜索引擎抓取任何内容:

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

⑦$:通配符,匹配url结尾的字符。禁止百度抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$


神州彩票app下载安装半杯酒博客文章,转载请注明原文网址摘自 //www.38uoo.com.cn/wangzhanyouhua/19.html,谢谢配合!

微信扫一扫,关注我们
1
神州彩票app下载安装
  • 老人公园弹琴  人民日报记者带你看空袭一日后的大马士革 2018-12-17
  • 构建命运共同体  开启上合新时代 2018-12-17
  • 也门国防部说打死250名胡塞武装人员 2018-12-16
  • 九江濂溪区从源头上解决环境污染问题 2018-12-16
  • 男子抢劫杀人为“找钱”创业 司机装死逃命 2018-12-15
  • 余世存:阅读经典不仅是消费,也是责任 2018-12-14
  • 我省首例侵犯公民个人信息案终审宣判 2018-12-13
  • 国际难题面前要秉持“公义”(钟声) 2018-12-13
  • 热刺班底领衔 抽上签的“欧洲中国队”能否破尴尬纪录 2018-12-12
  • 渭滨区结合村委会换届选举等农村基层工作开展反邪教宣传 2018-12-12
  • 2016年,有1145家上市公司大小非减持了3600亿元,还有210名上市公司高管减持了1400亿元。IPO已成了造就成千上万个十亿、百亿富豪的捷径, 2018-12-11
  • 2018 Yorkville Exotic Car Show kicks off in Toronto - Culture News - CQNEWS 2018-12-11
  • 国税地税合并!国家税务总局河北省税务局正式挂牌 2018-12-10
  • 换个口味过端午 “粽”能让你心动 2018-12-09
  • 这些事实都在打四两如梦的脸[微笑] 2018-12-09
  • 167| 15| 86| 35| 440| 752| 813| 527| 97| 337|