广州SEO > 百度优化 >

介绍robots文件较常用的语法

发表日期: 2017-07-31  文章编辑:  浏览次数:54

介绍robots文件较常用的语法

  robots文件同伴们或许都晓得他的用处,便是送上搜索引擎的蜘蛛看的,经过这个文件告诉蜘蛛们网站中那些文件不妨抓取,那些文件不不妨抓取.这个理当算robots文件用处的较通常诠释了吧,好底下咱们看下robots文件中较常用的几个语法利用.

  User-agent: *.这句话的道理便是告诉的搜索引擎的蜘蛛们你们都不妨来抓取,固然你假如把*换成某每个搜索引擎蜘蛛的称号,那道理便是User-agent: 底下的有限只对这个搜索引擎的蜘蛛起用处.每个robots文件中不妨利用多个User-agent: ,但起码要有每个User-agent: .

  Disallow: /admin/.这句话的道理便是admin这个文件夹下的全部文件蜘蛛们都不要抓取,假如要换成不要抓取某每个指定的文件是这么的写法,如Diassllow:/index.css.

  Allow: /blog/.道理是首肯蜘蛛探访这个文件夹下的全部文件.这句语法以及Disallow:的用法大致,就不消多描绘了.在这里需求留意的是同时利用Allow:和Disallow:需求留意他们的序次,robot会左证第每个成婚顺利的Allow或Disallow行明确可否探访某个URL.