Robots.txt 配置完整指南：语法规则与常见错误避坑
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2c200d6a4cd1.html
📄
Robots.txt 是网站根目录下一个约定俗成的文本文件，用于向搜索引擎爬虫说明哪些页面允许抓取、哪些路径需要避开。它本质上依赖爬虫的自律，并非强制性的安全屏障，但配置得当可以显著提高抓取效率、节省服务器带宽，是每位站点管理者都应掌握的基础技能。
1. Robots.txt 能做什么，以及它的限制
爬虫访问站点时，第一步就是检查根目录下的 robots.txt 文件，以此决定后续的抓取范围。如果该文件不存在，爬虫会默认站内所有公开链接都可以被抓取，这往往是造成资源浪费的常见原因。
在日常运营中，robots.txt 主要用于隐藏管理后台、屏蔽低价值页面（如站内搜索页、参数繁多的筛选页）、控制抓取频次等方面。需要特别提醒的是，正规搜索引擎会遵守协议，但恶意爬虫不会理会这份文件，所以它绝对不能替代防火墙或访问认证等安全措施。
2. 语法基础：核心指令一网打尽
Robots.txt 由多个记录块组成，每块必须先声明 User-agent 指明适用的爬虫，随后逐行列出指令。掌握下面几个核心指令，就掌握了 90% 的配置场景：
- User-agent：指定规则针对的爬虫名称，用 * 表示对所有爬虫生效，也可写具体爬虫如 Googlebot。
- Disallow：禁止访问的路径前缀，例如 Disallow: /admin/ 表示禁止整个 admin 目录。
- Allow：在同一记录内优先级高于 Disallow，常用于在屏蔽整个目录时单独放行某个文件。
- Sitemap：声明站点地图的绝对 URL，帮助爬虫快速发现重要页面，此指令无需配合 User-agent。
- Crawl-delay：建议爬虫两次请求间的等待秒数，但注意很多主流引擎已不再支持该指令。
2.1 份规范配置示例
下面是一个结构清晰、注释完整的实例，可作参考模板：
User-agent: *
Disallow: /tmp/
Disallow: /private/
Allow: /private/readme.html
Sitemap: https://www.example.com/sitemap.xml
这段配置表达的逻辑是：所有爬虫禁止访问 tmp 和 private 目录，但 private 中的 readme.html 被显式放行，同时告知爬虫站点地图地址。
3. 高频场景操作与防御性写法
配置看似简单，但实操中有几个场景非常容易出错，这里重点说明：
- 全站放行：不写 Disallow 行，或写 Disallow: 且不留值。切忌写成 Disallow: /，那意味着整个站点被禁止抓取。
- 临时屏蔽收录：使用 Disallow: / 可临时阻止所有页面被索引，但务必记得恢复，否则恢复前抓取的页面会逐步从索引中消失。
- 屏蔽与放行并存：使用 Allow 时注意路径必须精确，且要写在同一 User-agent 块内，优先级才会生效。
- 大小写问题：路径匹配是区分大小写的，/Product/ 和 /product/ 是两个不同目录，配置前务必核对实际路径。
- 通配符使用：部分引擎支持 * 和 $ 符号，如 Disallow: /*.pdf$ 可屏蔽所有 PDF 文件，但并非所有爬虫都支持，建议先查询各引擎文档。
4. 验证与持续维护
写完 robots.txt 并不代表工作结束，至少还需要完成两件事：一是通过搜索引擎官方的抓取测试工具（如 Google Search Console 的 robots 测试器）验证语法和路径匹配是否正确；二是将文件纳入日常运维清单，在改版、新增目录或迁移域名后及时复查。
一个常见的误区是认为 robots.txt 里写的内容越多越安全。实际上，文件行数过多、规则复杂反而容易出错，建议保持精简，只屏蔽真正需要屏蔽的路径，并定期清理失效的指令。
5. 常见问题
5.1 robots.txt 能阻止页面被收录吗？
能阻止抓取，但不等同于阻止收录。如果其他网站链接了该页面，搜索引擎仍可能基于链接信息将 URL 收录（只是不抓取内容）。若希望彻底从索引中移除，应配合使用 noindex 标签或 Search Console 的移除工具。
5.2 Disallow 写错了会造成什么后果？
最严重的情况是误写成 Disallow: /，导致全站无法被抓取，新内容长时间不收录。另外，路径前缀写错会导致该屏蔽的没屏蔽、不该屏蔽的反被禁止，建议每次修改后用测试工具逐条验证。
5.3 Sitemap 指令必须放在 robots.txt 里吗？
不是必须的。可以通过 Search Console 或 Bing Webmaster 后台提交站点地图，效果与在 robots.txt 中声明一致。不过，在文件中保留 Sitemap 指令对所有爬虫都是开放的，属于低成本的双保险。
6. 结语
Robots.txt 是一门精细活，核心思路是"明确告知、避免误伤"。从一份简洁的规则开始，配合测试工具验证，并养成修改后复查的习惯，就能避免绝大多数配置事故。建议每季度审视一次现有规则，移除不再需要的屏蔽项，让爬虫的访问路径始终保持清晰高效。
