神州彩票v1.74: 网站优化robots.txt的原理与设置

神州彩票app下载安装 / 网站优化 / 时间:2018-11-06 19:09
做过网站优化的朋友都知道,搜索引擎蜘蛛爬行抓取网站时首先会去访问根目录下的robots.txt文件,如果robots文件存在,则会根据robots文件内设置的规则进行爬行抓取,如果文件不存在则会顺着首页进行抓取,那么robots文件的工作原理是什么呢?如何对robots.txt文件进行设置

网站优化robots.txt的原理与设置
一、robots.txt的工作原理
 
robots.txt是一个纯文本的文件,文件的名字必须全部小写,并且放置在网站的根目录下面,通过文件中的规则声明网站哪些内容不想被搜索引擎蜘蛛抓取收录,或者指定某个搜索引擎不能收录robots.txt也叫做爬虫协议,遵循爬虫协议的搜索引擎蜘蛛,都会根据协议的内容对网站进行爬虫抓取的。
 
二、robots.txt的设置
 
1.User-agent的设置
 
在"robots.txt"文件中,如果有多条 User-agent 记录说明有多个 robot 会受到"robots.txt"的限制,对该文件来说,至少要有一条 User-agent 记录。如果该项的值设为*,则对任何 robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。
 
2.Disallow的设置
 
这个值可以是一条完整的路径,也可以是路径的非空前缀,以 Disallow 项的值开头的URL不会被 robot 访问。
 
3.Allow的设置
 
与 Disallow 项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以 Allow项的值开头的 URL是允许robot访问的。
 
合理的运用robots.txt文件对网站优化能起到很大的作用,比如当网站出现死链的时候,可以通过robots.txt文件进行屏蔽,这样就不会影响到网站的排名,另外还可以在robots.txt添加网站地图URL,能有效的帮助搜索引擎蜘蛛对网站内容的爬行抓取。

神州彩票app下载安装 www.38uoo.com.cn 神州彩票app下载安装半杯酒博客文章,转载请注明原文网址摘自 //www.38uoo.com.cn/wangzhanyouhua/838.html,谢谢配合!

微信扫一扫,关注我们
1
神州彩票app下载安装
  • 新疆公益组织,公益求助,晨报救命血联盟 2019-02-21
  • 文章背后的女人你了解吗?生活中的马伊琍原来是这样 2019-02-20
  • 大力推动同等待遇 深化同胞心灵契合 2019-02-19
  • [雷人]不管什么税,只有还能通过二次交易获利,就有炒作的空间,房价一样是不会恢复合理的! 2019-02-18
  • 人民网评:“疯狗咬人”提醒城市管理者需重视一个问题 2019-02-17
  • 全国百家网络媒体全媒体记者彭水采风活动 2019-02-17
  • 宋冬:艺术与生活可以相互塑造,艺术就在我们身边 2019-02-16
  • 三部门做好党和国家机构改革有关国有资产管理工作 2019-02-16
  • 净慧长老:生在福中要知福惜福 2019-02-15
  • 江西出台12条措施促科技创新平台发展最高补助1000万 2019-02-15
  • “两票制”能否止住药价虚高? 2019-02-14
  • 2018“一带一路”与澳门发展国际研讨会圆满闭幕 2019-02-13
  • 设计众议院:神奇的MQB让全新一代宝来重生 2019-02-13
  • 2018年第三批“中国梦·大国工匠篇”大型主题宣传活动启动 2019-02-12
  • 高清:国羽结束奥运前集训返京 谌龙信心满满 2019-02-11
  • 671| 594| 262| 605| 413| 192| 594| 82| 18| 615|