robots.txt アナライザー
robots.txtファイルを貼り付けて、ボットグループ、Allow/Disallowルール、Crawl-delayディレクティブ、Sitemapエントリを確認できます。各クローラーへの影響をシミュレーションできます。URLの取得は行わず、すべての処理はブラウザ内で完結します。
貼り付けたrobots.txtを解析してクローラーグループと指示を整理し、警告を表示しながらuser-agentとパスのアクセス可否をシミュレーションします。
robots.txtを分析する方法
- robots.txtを貼り付けて分析します。
- User-agentグループ、Allow・Disallow、Sitemap、Crawl-delay、警告を確認します。
- シミュレーターへuser-agentとURLパスを入力し、選択された規則と許可結果を確認します。
解析とシミュレーション規則
User-agent、Allow、Disallow、Sitemap、Crawl-delay、コメントを扱います。HostとClean-paramは解釈せず非標準として警告します。
一致グループの規則を結合し、なければ*グループへフォールバックします。最長の一致パスが優先され、同じ長さではAllowが優先されます。*ワイルドカードと末尾$も扱います。
プライバシーと制限
robots.txtとシミュレーション入力はブラウザ内だけで処理され、サイトや実クローラーへ通信しません。検索エンジン固有の動作は異なる場合があり、Crawl-delayは表示用に解析しますがアクセス判定には使いません。
Robots.txt Analyzer FAQ
robots.txtを自動取得しますか？
いいえ。テキストを貼り付けます。
どの指示に対応しますか？
User-agent、Allow、Disallow、Sitemap、Crawl-delayを解析し、コメントを無視します。
同じ長さの規則は？
このシミュレーターではAllowが優先されます。
*と$に対応しますか？
はい。*と末尾$を扱います。
Googleなどの実挙動を保証しますか？
いいえ。このツールに実装された規則のローカルシミュレーションです。