神州彩票平台网址: 网站优化robots.txt的原理与设置

神州彩票app下载安装 / 网站优化 / 时间:2018-11-06 19:09
做过网站优化的朋友都知道,搜索引擎蜘蛛爬行抓取网站时首先会去访问根目录下的robots.txt文件,如果robots文件存在,则会根据robots文件内设置的规则进行爬行抓取,如果文件不存在则会顺着首页进行抓取,那么robots文件的工作原理是什么呢?如何对robots.txt文件进行设置

网站优化robots.txt的原理与设置
一、robots.txt的工作原理
 
robots.txt是一个纯文本的文件,文件的名字必须全部小写,并且放置在网站的根目录下面,通过文件中的规则声明网站哪些内容不想被搜索引擎蜘蛛抓取收录,或者指定某个搜索引擎不能收录robots.txt也叫做爬虫协议,遵循爬虫协议的搜索引擎蜘蛛,都会根据协议的内容对网站进行爬虫抓取的。
 
二、robots.txt的设置
 
1.User-agent的设置
 
在"robots.txt"文件中,如果有多条 User-agent 记录说明有多个 robot 会受到"robots.txt"的限制,对该文件来说,至少要有一条 User-agent 记录。如果该项的值设为*,则对任何 robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。
 
2.Disallow的设置
 
这个值可以是一条完整的路径,也可以是路径的非空前缀,以 Disallow 项的值开头的URL不会被 robot 访问。
 
3.Allow的设置
 
与 Disallow 项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以 Allow项的值开头的 URL是允许robot访问的。
 
合理的运用robots.txt文件对网站优化能起到很大的作用,比如当网站出现死链的时候,可以通过robots.txt文件进行屏蔽,这样就不会影响到网站的排名,另外还可以在robots.txt添加网站地图URL,能有效的帮助搜索引擎蜘蛛对网站内容的爬行抓取。

神州彩票app下载安装 www.38uoo.com.cn 神州彩票app下载安装半杯酒博客文章,转载请注明原文网址摘自 //www.38uoo.com.cn/wangzhanyouhua/838.html,谢谢配合!

微信扫一扫,关注我们
1
神州彩票app下载安装
  • 2017不可错过的诚意之作 索尼耳机WH-H800 让音乐更自由 2019-05-26
  • 武汉市开展普法观摩活动 小学生现场开微班会学法 2019-05-25
  • “儿亦当格外奋发,兢兢业业以图成功”——读向警予写给父母的信 2019-05-25
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-05-24
  • 【专题】相约上合——风从海上来 上合组织青岛峰会 2019-05-23
  • 贵州官方宣布曼萨诺离任 佩特莱斯库出任新主帅 2019-05-22
  • 统帅关怀励兵心 矢志强军谋打赢——习近平视察北部战区海军发表的重要讲话在全军和武警部队引起热烈反响 2019-05-21
  • 南京研发应用交通违法市民“一键拍”举报平台 2019-05-21
  • 中国共产党第十九次代表大会 2019-05-20
  • 酸味-热门标签-华商生活 2019-05-19
  • 中超两将或联袂登场 非洲雄鹰能否再演黑马本色 2019-05-19
  • 19~24日赣北将出现入汛以来最强连续暴雨 2019-05-18
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-18
  • 准确的说,日本是美国的殖民地国家。 2019-05-17
  • 安农大选配50名资深教授担任产业联盟“盟主” 2019-05-17
  • 869| 35| 215| 749| 272| 617| 583| 555| 491| 503|