robots.txt 分析器
粘贴 robots.txt 文件，检查其中的机器人组、Allow/Disallow 规则、Crawl-delay 指令和 Sitemap 条目，并模拟各爬虫受规则影响的结果。不获取任何 URL，所有处理均在浏览器中完成。
解析粘贴的 robots.txt，汇总爬虫分组和指令、提示结构问题，并模拟某个 user-agent 对指定路径是否允许访问。
如何分析 robots.txt
- 粘贴 robots.txt 文本并运行分析。
- 查看 User-agent 分组、Allow、Disallow、Sitemap、Crawl-delay 和解析警告。
- 在模拟器输入 user-agent 与 URL 路径，查看工具选择的规则和允许结果。
解析与模拟规则
支持 User-agent、Allow、Disallow、Sitemap、Crawl-delay 和注释。Host 与 Clean-param 不会被解释，只会作为非标准指令提示。
模拟时会合并所有匹配分组的规则，没有精确匹配时使用 * 分组；最长匹配路径优先，相同长度时 Allow 优先，并支持 * 通配符和末尾 $ 锚点。
隐私与限制
robots.txt 和模拟输入都只在浏览器中处理，不会请求真实网站或真实爬虫。不同搜索引擎可能有产品特定行为；Crawl-delay 会被解析显示，但不参与本工具的访问允许判定。
Robots.txt Analyzer 常见问题
会自动下载 robots.txt 吗？
不会，需要手动粘贴文本。
解析哪些指令？
解析 User-agent、Allow、Disallow、Sitemap、Crawl-delay，并忽略注释。
相同长度规则冲突怎么办？
本模拟器中 Allow 优先。
支持 * 和 $ 吗？
支持 * 通配符以及末尾 $。
能保证 Google 等爬虫的真实行为吗？
不能，这是基于本工具已实现规则的本地模拟。