robots.txt 分析器

粘贴 robots.txt 文件,检查其中的机器人组、Allow/Disallow 规则、Crawl-delay 指令和 Sitemap 条目,并模拟各爬虫受规则影响的结果。不获取任何 URL,所有处理均在浏览器中完成。

Related tools