第8节 ：网站robots和谈的用法
· 2026-09-16 16:26:13甚么是第节的用robots和谈？
robots和谈，指的网站是一个robots.txt的文档 ，以下图 。和谈Robots.txt是第节的用存放在网站更目次的一个文件 。并且是网站搜刮引擎爬虫抓取网站的时辰，第一个抓取的和谈文件 。
robots和谈 ，第节的用又叫做搜刮引擎和谈 ，网站次要用于圭表类型爬虫抓取网页。和谈robots和谈里面记实着轨则 ，第节的用爬虫爬取后会屈就轨则爬取网站 。网站
复杂的和谈邃晓 ，robots和谈里面会陈述搜刮引擎爬虫，第节的用那些链接是网站准予爬取的 ，那些链接是和谈禁尽予抓取的 。
robots和谈感染
robots和谈可以指定搜刮引擎能收录那些链接 ，也能指定不克不及收录那些链接。后背我们讲写法 。
robots和谈语法
robots和谈的语法分为三个 。分袂是User-agent 、Disallow、Allow。上面我们来一同体味下 。
User-agent: 指的是那些搜刮引擎奉行以下和谈 。如百度 ：User-agent: 百度spider 。而*号可以代表全数 ，代码为：User-agent: * 。
Disallow:指阻拦抓取的意思 。如语法 ：Disallow: /a ,就是阻拦搜刮引擎抓取带有 /a 这个关头词的链接 。
Allow ：指准予抓取的意思 。但凡默许就是准予抓取 ，故很少会用到该呼唤 。
若何写法robots和谈
给大年夜师一个特别很是利便的对象 ，冲击可以在该对象上直接花费 。
Robots和聊生成对象 ：http://tool.chinaz.com/robots/
Robots和谈若何用
1 、当网站中纯在隐私页面不想被搜刮引擎抓取的时辰 ，可独霸robots 。
2 、当网站页面纯在多个链接的时辰 ，可以用robots禁用一条，准予搜刮引擎只收录一条 。（但凡独霸静态url后，理应樊篱静态url）
3、建议樊篱搜刮路途 。
文章推荐：