robots.txt 분석기
robots.txt 파일을 붙여넣어 봇 그룹, Allow/Disallow 규칙, Crawl-delay 지시어, Sitemap 항목을 확인하세요. 각 크롤러가 규칙에 따라 허용되는지 시뮬레이션할 수 있습니다. URL을 외부로 전송하지 않으며, 모든 처리는 브라우저에서 이루어집니다.
robots.txt 원문을 파싱해 크롤러 그룹과 지시문을 요약하고 구조 경고를 표시하며 특정 user-agent와 경로의 접근 허용 여부를 시뮬레이션합니다.
robots.txt 분석 방법
- robots.txt 내용을 붙여넣고 분석을 실행합니다.
- User-agent 그룹, Allow·Disallow, Sitemap, Crawl-delay와 파서 경고를 확인합니다.
- 시뮬레이터에 user-agent와 URL 경로를 넣어 이 도구가 선택하는 규칙과 허용 여부를 확인합니다.
파싱과 시뮬레이션 규칙
User-agent, Allow, Disallow, Sitemap, Crawl-delay와 주석을 처리합니다. Host와 Clean-param은 해석하지 않고 비표준 경고로 기록합니다.
시뮬레이션은 일치하는 그룹의 규칙을 합치고, 없으면 * 그룹을 사용하며, 가장 긴 경로 규칙이 우선합니다. 길이가 같으면 Allow가 이기며 * 와 끝의 $ 패턴도 처리합니다.
개인정보와 제한
robots.txt와 시뮬레이션 입력은 브라우저 안에만 남고 실제 사이트나 검색봇에 요청하지 않습니다. 검색엔진별 세부 동작은 다를 수 있으며 Crawl-delay는 표시용으로 파싱하지만 접근 허용 판정에는 사용하지 않습니다.
Robots.txt Analyzer 자주 묻는 질문
사이트의 robots.txt를 자동 다운로드하나요?
아니요. 텍스트를 직접 붙여넣습니다.
어떤 지시문을 처리하나요?
User-agent, Allow, Disallow, Sitemap, Crawl-delay를 파싱하고 주석은 무시합니다.
같은 길이 규칙이 충돌하면 어떻게 되나요?
이 시뮬레이터에서는 Allow가 우선합니다.
* 와 $ 패턴을 지원하나요?
네. * 와 마지막 $ 앵커를 처리합니다.
Google 등의 실제 동작을 보장하나요?
아니요. 이 도구에 구현된 규칙을 로컬에서 시뮬레이션합니다.