Robots.txt 生成器

Robots.txt 要点

• 位置：必须放在域名根目录 (example.com/robots.txt)。
• 大小限制：文件不能超过 500KB，否则 Google 只解析前 500KB。
• 不是安全机制：robots.txt 只是建议，恶意爬虫可以无视。
• 验证：用 Google Search Console 的 robots.txt 测试器验证。