robots.txt 도구
크롤링 규칙을 기준으로 빠르게 점검합니다.
크롤링 규칙
예: *, Googlebot, Bingbot
차단할 경로를 한 줄씩 입력하세요.
예외로 허용할 경로를 한 줄씩 입력하세요.
공개 사이트맵 위치를 알려주면 크롤러가 URL을 더 쉽게 찾을 수 있습니다.
미리보기
자주 쓰는 robots.txt 지시문
User-agent: *
모든 크롤러에 매칭되며 기본 규칙 그룹으로 자주 사용됩니다.
Disallow: /private/
규칙을 따르는 크롤러에게 /private/ 내부 경로를 요청하지 말라고 알립니다.
Allow: /private/public-file.html
상위 경로가 차단되어 있어도 특정 파일 접근을 허용할 때 사용합니다.
Sitemap: https://example.com/sitemap.xml
크롤러가 공개 URL을 더 효율적으로 찾을 수 있도록 사이트맵 위치를 제공합니다.
자주 묻는 질문
robots.txt 파일이 꼭 필요한가요?
필수는 아니지만 크롤러에게 명확한 크롤링 규칙과 사이트맵 위치를 알려주는 데 유용합니다. 없으면 규칙을 따르는 크롤러도 발견한 공개 URL을 요청할 수 있습니다.
기술 담당자가 아니어도 이 파일을 바로 올릴 수 있나요?
네. 생성기는 표준 robots exclusion protocol을 따릅니다. 일반적인 마케팅 사이트라면 전체 허용 프리셋에 사이트맵 URL을 더하는 것으로 충분한 경우가 많습니다.
ChatGPT나 다른 AI 크롤러를 어떻게 차단하나요?
AI 크롤러 차단 프리셋을 사용하세요. 일반적인 AI 관련 크롤러에 대한 disallow 규칙을 추가하지만, robots.txt는 자발적 규칙입니다. 접근 보안을 대체하지 않습니다.
robots.txt로 비공개 페이지를 안전하게 보호할 수 있나요?
아니요. robots.txt는 공개 파일이며 보호 수단으로 쓰면 안 됩니다. 비공개 대시보드, 스테이징 빌드, 고객 파일에는 인증, noindex 제어, 네트워크 수준 제한이 필요합니다.
noindex와 Disallow는 무엇이 다른가요?
Disallow는 크롤러에게 특정 경로를 가져오지 말라고 알립니다. noindex는 검색엔진에게 페이지를 검색 결과에 남기지 말라고 알립니다. Disallow 때문에 페이지를 가져오지 못하면 페이지 단위 noindex 태그를 보지 못할 수 있습니다.