robots.txtファイルを貼り付けて、ボットグループ、Allow/Disallowルール、Crawl-delayディレクティブ、Sitemapエントリを確認できます。各クローラーへの影響をシミュレーションできます。URLの取得は行わず、すべての処理はブラウザ内で完結します。