免费工具
Robots.txt 生成器
一键生成符合规范的 robots.txt。支持 sitemap、爬虫指令和禁止路径。
生成的 robots.txt
Robots.txt 要点
- 位置：必须放在域名根目录 (example.com/robots.txt)。
- 大小限制：文件不能超过 500KB，否则 Google 只解析前 500KB。
- 不是安全机制：robots.txt 只是建议，恶意爬虫可以无视。
- 验证：用 Google Search Console 的 robots.txt 测试器验证。
更多工具