robots.txt 生成器

—

💡 说明：
· User-agent 后跟爬虫名，* 表示所有爬虫；
· Disallow 与 Allow 成对出现时，最长匹配优先，相同长度 Allow 优先；
· 路径区分大小写，/ 表示整站，* 是通配符，$ 表示行尾；
· Sitemap 应为绝对 URL，一行一个；
· 空 Disallow: 表示允许所有，空 Disallow: + 无 Allow 是最宽松写法；
· 本工具仅生成文件，请把生成的 robots.txt 放到域名根目录。