robots.txt 작성법: 기본 문법 4가지와 AI 크롤러 허용, 차단 설정

robots.txt는 사이트 맨 위 주소(예: example.com/robots.txt)에 두는 텍스트 파일이에요. 검색엔진과 AI 크롤러에게 어느 경로를 읽어도 되는지 알려 줘요. 기본 문법은 User-agent, Disallow, Allow, Sitemap 네 줄이면 충분하고, 요즘은 여기에 AI 봇을 학습용과 검색용으로 나눠 적는 일이 더해졌어요.

BaRam 리서치가 2026년 10월 2일 국내에서 많이 찾는 웹사이트 906곳을 확인했더니 80.1%가 robots.txt를 두고 있었어요. 파일이 있는 것과 제대로 쓴 것은 다른 문제여서, 이 글은 문법과 함께 국내 사이트에서 실제로 자주 보이는 실수를 같이 정리해요.

robots.txt 기본 문법 4가지

구글 검색 센터 문서(Google robots.txt 사양)는 지원하는 항목을 user-agent, allow, disallow, sitemap 네 가지로 적고 있어요.

User-agent: *
Disallow: /admin/
Allow: /admin/help/
Sitemap: https://example.com/sitemap.xml

• User-agent: 규칙을 적용할 봇 이름이에요. *는 이름이 따로 적히지 않은 모든 봇을 뜻해요.
• Disallow: 읽지 말라는 경로예요. Disallow: /는 사이트 전체를 막아요. 값을 비워 두면 아무것도 막지 않아요.
• Allow: 막은 경로 안에서 예외로 열어 둘 경로예요.
• Sitemap: 사이트맵 주소예요. 다른 규칙과 달리 전체 주소로 적어요.

항목 이름은 대소문자를 가리지 않지만 경로는 가려요. 구글 문서의 예시로는 /fish 규칙이 /Fish.asp를 막지 못해요. 경로는 앞부분이 같으면 걸리기 때문에 /fish는 /fishheads/yummy.html도 막아요. *는 아무 글자, $는 주소의 끝을 뜻해요.

규칙끼리 부딪히면 무엇이 이기나

2022년 9월 표준 문서로 나온 RFC 9309는 여러 규칙이 한 주소에 걸리면 경로가 가장 긴 규칙을 따르라고 정해요. 길이가 같으면 Allow를 따르는 것이 권장이에요. 그래서 위 예시에서 /admin/help/는 열리고 나머지 /admin/은 막혀요.

구글 문서 기준으로 봇은 자기 이름이 적힌 묶음만 따르고, 그 묶음과 * 묶음을 합쳐 읽지 않아요. User-agent: GPTBot 묶음이 따로 있으면 GPTBot은 User-agent: * 묶음의 규칙을 보지 않아요. 전체 규칙에 막아 둔 관리자 경로가 있다면 이름을 적은 묶음에도 다시 적어야 해요.

파일 위치와 크기, 오류 처리

구글 문서는 아래 조건을 적고 있어요.

• 파일은 사이트 최상위 폴더에 있어야 해요. 하위 폴더의 robots.txt는 읽지 않아요.
• 규칙은 파일이 있는 호스트, 프로토콜, 포트에만 적용돼요. blog.example.com은 따로 파일이 있어야 해요.
• 500KiB를 넘는 부분은 무시해요.
• 구글은 파일을 보통 최대 24시간 저장해 두고 써요. 고친 내용이 바로 반영되지 않는 이유예요.
• 파일 주소가 429를 뺀 4xx 오류를 내면 파일이 없는 것으로 보고 제한 없이 읽어요.
• 5xx 오류가 나면 처음 12시간은 사이트 크롤링을 멈추고, 그 뒤 30일까지는 마지막으로 받은 파일을 써요.

서버 오류가 길어지면 robots.txt 내용과 상관없이 크롤링이 멈출 수 있어요. 파일을 새로 만든 뒤에는 브라우저로 주소를 직접 열어 200으로 열리는지 먼저 보세요.

robots.txt로 할 수 없는 일

robots.txt는 접근 권한 장치가 아니에요. RFC 9309는 "이 규칙은 접근 권한의 한 형태가 아니다"라고 적어요. 구글 문서도 robots.txt가 웹페이지를 구글에서 숨기는 방법이 아니라고 설명해요. 막힌 주소가 설명 없이 검색 결과에 뜰 수 있고, 숨기려면 noindex나 비밀번호를 쓰라고 안내해요.

Crawl-delay(방문 간격)는 구글이 지원하지 않는 항목이에요. 반대로 Anthropic 안내는 자사 봇이 Crawl-delay를 따른다고 적고 있어요. 같은 줄도 봇마다 다르게 읽어요.

AI 크롤러는 학습용과 검색용으로 나눠 적기

AI 회사들은 봇을 용도별로 따로 둬요. 학습용 봇을 막으면 글을 AI 모델 학습에 쓰지 말라는 표시가 되고, 검색용 봇을 막으면 AI 답변에 출처로 나오기 어려워져요. 아래 표의 차단 비율은 BaRam 리서치가 2026년 10월 2일 국내에서 많이 찾는 웹사이트 906곳에서 일반 글 페이지를 그 봇에게 막아 둔 사이트의 비율이에요.

봇의 용도는 각 회사 문서를 따랐어요. OpenAI 문서는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않고, 사이트로 가는 이동 링크로만 나올 수 있다고 적어요. 같은 문서는 robots.txt를 고친 뒤 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있다고 해요. Perplexity 문서도 변경 반영에 최대 24시간을 안내해요.

사용자가 질문할 때 페이지를 바로 여는 봇은 성격이 달라요. OpenAI는 ChatGPT-User에 robots.txt 규칙이 적용되지 않을 수 있다고 적었고, Perplexity는 Perplexity-User가 대체로 robots.txt를 따르지 않는다고 밝혀요. 이 두 봇은 robots.txt만으로 확실히 막을 수 없다고 보는 편이 맞아요.

AI 학습 제외는 요청하고 AI 검색에는 나오고 싶다면 이렇게 적어요.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

이 설정에서 OAI-SearchBot, PerplexityBot, Claude-SearchBot은 이름이 없으니 * 묶음을 따라 관리자 경로만 빼고 읽어요. 국내 언론사가 많이 고른 방식이에요. BaRam 조사에서 언론사 40곳 중 47.5%가 학습용 봇만 막고 검색용 봇은 열어 뒀어요. 언론사의 GPTBot 차단 비율은 45%였고 OAI-SearchBot은 10%였어요.

국내 사이트에서 자주 보이는 robots.txt 실수

구글만 허용하는 옛 설정. BaRam 조사에서 906곳 중 32곳은 AI 봇 이름을 하나도 적지 않았는데도 AI 봇이 막혀 있었어요. User-agent: *에 Disallow: /를 걸고 Googlebot 같은 검색엔진 봇만 따로 열어 둔 경우예요. AI 검색이 나오기 전에는 문제가 없던 설정이지만, 지금은 ChatGPT 검색과 Perplexity 답변에서도 빠지게 돼요.

학습용 봇만 이름으로 적음. 같은 조사에서 robots.txt에 GPTBot 이름을 적은 사이트는 134곳이었고, 같은 회사의 검색용 봇 OAI-SearchBot 이름을 적은 곳은 77곳이었어요. ClaudeBot은 98곳, Claude-SearchBot은 57곳이었어요. 검색용 봇을 따로 적지 않으면 * 묶음 규칙을 따르니, 그 묶음이 원하는 설정인지 확인해야 해요.

검색엔진까지 함께 막음. 906곳 중 8.1%는 구글 검색 봇까지 막고 있었어요. 이런 결과는 AI 봇을 막으려던 규칙을 * 묶음에 넣었을 때도 생겨요.

llms.txt와 robots.txt가 엇갈림. llms.txt는 906곳 중 5.6%가 갖고 있었어요. llms.txt로 AI에게 사이트를 소개해 두고 robots.txt로 AI 봇을 막으면 안내문만 있고 들어갈 수는 없는 상태가 돼요.

BaRam 무료 GEO 진단을 스스로 신청한 사이트 중 'AI 크롤러 허용' 항목을 검사한 108곳의 81%가 경고나 실패를 받았어요(2026년 9월 30일 기준).

내 사이트 robots.txt 점검 순서

1. 브라우저에서 내주소/robots.txt를 열어 파일이 200으로 열리는지 봐요.
2. User-agent: * 묶음에 Disallow: /가 있는지 봐요. 있다면 열어 둘 봇을 이름으로 적어요.
3. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 묶음이 있는지, 각각 원하는 대로 막거나 열었는지 봐요.
4. Sitemap 줄에 전체 주소가 적혔는지 봐요.
5. 고친 뒤에는 하루 정도 지나 다시 확인해요. 구글과 OpenAI, Perplexity 모두 반영에 최대 24시간 안팎을 안내해요.

이 과정을 한 번에 보고 싶다면 BaRam 무료 GEO 진단에서 주소를 넣어 보세요. AI 크롤러 허용 여부와 llms.txt, 구조화 데이터를 같이 확인해요. 국내 906곳의 업종별 설정은 한국 웹사이트 AI 크롤러 차단 현황에서 찾아볼 수 있어요.

robots.txt 자주 묻는 질문