한국 웹사이트 906곳의 AI 크롤러 정책 조사 — GPTBot을 막은 곳은 21.6%

ChatGPT·Gemini·Perplexity 같은 AI 검색은 답을 만들 때 웹 문서를 읽어 와요. 그래서 내 사이트가 AI 답변에 나오려면 먼저 AI 회사의 크롤러가 들어와 읽을 수 있어야 해요. 반대로 콘텐츠가 동의 없이 AI 학습에 쓰이는 걸 원하지 않는 곳은 크롤러를 막아요. 이 둘 사이에서 웹사이트가 의사를 밝히는 거의 유일한 수단이 robots.txt예요.

해외에서는 이 변화가 빠르게 기록되고 있어요. 대규모 학습 데이터셋의 출처 도메인을 추적한 연구는 2023~2024년 1년 사이 핵심 출처의 상당수가 robots.txt로 AI 수집을 막았다고 보고했어요(Longpre 외, 2024). 하지만 한국 웹사이트가 어떤 선택을 하고 있는지는 공개된 조사가 거의 없었어요.

그래서 세 가지를 물었어요.

• 얼마나 막고 있나. AI 봇 16종 각각에 대해, 일반 본문 페이지를 막아 둔 비율은 얼마인가.
• 어떻게 막고 있나. 학습용과 검색용을 가려서 막는가, 업종마다 다른가.
• 열어 둔 곳은 정말 읽히나. robots.txt 밖에서 AI가 읽지 못하게 만드는 요인은 없는가.

2.1 표본

웹사이트 순위 연구에 널리 쓰이는 Tranco 목록(목록 ID Y83YG, 상위 100만 곳)에서 .kr로 끝나는 도메인 상위 1,000곳을 뽑았어요. 여기에 .kr을 쓰지 않는 주요 한국 사이트(포털·플랫폼, 커머스, 언론, 금융, 대기업·브랜드)를 사람이 직접 골라 더했어요. 중복을 빼면 1,133곳이에요.

Tranco에는 광고·CDN처럼 사람이 보는 사이트가 아닌 도메인도 섞여 있어요. 그래서 홈페이지가 정상 응답(2xx·3xx)을 준 906곳만 분석했어요. 접속되지 않은 163곳, 우리 측정 요청을 방화벽에서 거절한 42곳은 뺐어요(3.6절).

2.2 측정

2026-10-02 하루에 사이트마다 공개 주소 세 개만 요청했어요. /robots.txt, /llms.txt, 그리고 홈페이지예요. 요청에는 우리를 밝히는 이름(BaRamResearch)과 연락 주소를 실었고, 다른 회사의 봇 이름을 흉내 내지 않았어요. 로그인이나 우회는 하지 않았어요.

2.3 판정 규칙

robots.txt는 표준 문서 RFC 9309의 규칙대로 해석했어요. 봇 이름이 적힌 묶음이 있으면 그것만, 없으면 모든 봇(*) 묶음을 따르고, 같은 경로에 규칙이 겹치면 가장 구체적인 규칙이 이겨요. 파일이 없으면(404) 모두 허용, 서버 오류(5xx)면 모두 금지로 봐요.

판정은 홈(/)이 아니라 일반 본문 페이지 경로를 기준으로 했어요. 홈만 열어 두고 나머지를 막는 설정(Allow: /$)이 꽤 있어서, 홈만 보면 실제로는 막힌 사이트를 열린 것으로 잘못 세게 돼요.

홈페이지에서는 스크립트를 실행하지 않고 읽히는 본문 글자 수, 다른 주소로 넘기는 방식(스크립트·메타 리프레시), 링크 수, 구조화 데이터(JSON-LD)를 쟀어요. 본문이 200자 미만이고 링크도 메타 리프레시도 없으면 “
”로 분류했어요. 스크립트를 실행하지 않는 크롤러가 그 홈에서 더 나아갈 방법이 없다는 뜻이에요.

업종은 .kr의 2단계 도메인으로 기계적으로 나눴어요(.go.kr 정부·공공, .ac.kr 교육, .or.kr 비영리·연구, .co.kr 기업). 직접 고른 사이트에는 사람이 업종을 붙였어요. 측정 스크립트와 사이트별 판정 결과는 모두 공개해요(저장소의 scripts/research, 이 페이지의 데이터 내려받기).

3.1 네 곳 중 세 곳은 AI에게 완전히 열려 있어요

분석한 906곳 중 74.2%는 AI 봇을 하나도 막지 않았어요. 학습용만 막은 곳이 13.2%, AI를 전부 막고 검색엔진만 허용한 곳이 4.5%, 검색엔진까지 막은 곳이 8.1%였어요. robots.txt 파일 자체가 있는 곳은 80.1%였어요.

업종 차이가 컸어요. 포털·플랫폼은 전부 허용이 44.2%로 가장 닫혀 있었고, 대기업·브랜드는 96.9%로 거의 다 열려 있었어요. 콘텐츠가 곧 자산인 곳은 막고, 브랜드가 알려지는 게 목적인 곳은 여는 셈이에요.

3.2 가장 많이 막힌 봇은 GPTBot이고, 학습용이 더 많이 막혀요

봇별로 보면 GPTBot이 21.6%로 가장 많이 막혀 있었어요. 학습용 봇 10종의 평균 차단율은 18.6%, 검색·실시간 조회용 6종은 13.6%였어요. 대조군인 Googlebot은 8.1%, 네이버 Yeti는 7.6%였어요.

차단은 대부분 이름을 콕 집어서 이뤄졌어요. robots.txt에 AI 봇 이름을 하나라도 적어 둔 사이트는 157곳(17.3%)이었고, GPTBot 이름을 적은 134곳 중 93곳이 막았어요. 반대로 이름이 덜 알려진 봇일수록 이름이 적힌 경우가 적었어요. Claude-User는 44곳, Perplexity-User는 38곳뿐이었어요. 막으려는 곳도 새로 생긴 봇까지는 따라가지 못하고 있다는 뜻이에요.

3.3 언론: 학습은 거부, AI 답변에는 나오기

언론사 40곳은 가장 뚜렷한 패턴을 보였어요. GPTBot은 45%가 막았는데, 같은 OpenAI의 검색용 OAI-SearchBot은 10%만 막았어요. Google의 학습용 Google-Extended도 22.5%가 막았지만 Googlebot을 막은 곳은 없었어요. 기사가 AI 학습 재료로 쓰이는 건 거부하되, ChatGPT 검색이나 Perplexity 답변에 출처로 걸리는 건 받아들이는 선택이에요.

흥미로운 어긋남도 있었어요. 아시아경제와 한국일보는 AI에게 사이트를 소개하는 llms.txt를 만들어 두었지만, robots.txt 에서는 검색용을 포함한 AI 봇 대부분을 막고 있었어요(아시아경제는 16종 전부, 한국일보는 Claude-User 하나만 일부 허용). 소개서는 걸어 두고 문은 잠가 둔 셈이에요. 정책을 만드는 부서와 사이트를 운영하는 부서가 다를 때 흔히 생기는 일이라, AI 정책을 정할 때는 두 파일을 함께 봐야 해요.

3.4 공공·금융: 막은 게 아니라 홈이 비어 있어요

정부·공공 사이트는 robots.txt 로는 84.6%가 열려 있었어요. 그런데 홈페이지를 열어 보니 43.1%가 막다른 길이었어요. 홈 HTML에는 location.href = "/main/index.do" 같은 스크립트 한 줄만 있고, 본문도 링크도 없었어요. 사람의 브라우저는 스크립트를 실행해 진짜 첫 화면으로 넘어가지만, 스크립트를 실행하지 않는 크롤러는 빈 페이지에서 멈춰요.

<html><head>
<script>
  location.href = "/main/index.do";
</script>
</head><body></body></html>

전체로는 166곳(18.3%)이 막다른 길이었어요. 금융 50%, 교육 23.9% 순으로 높았고, 언론은 2.5%로 가장 낮았어요. 오래된 공공·금융 시스템에서 흔한 “
” 방식이 AI 시대에는 robots.txt보다 큰 장벽이 되고 있어요.

3.5 llms.txt는 5.6%, 대기업과 플랫폼 기본값이 이끌어요

AI에게 사이트를 요약해 주는 파일인 llms.txt는 51곳(5.6%)에 있었어요. 대기업·브랜드가 18.8%, 언론이 15%로 높았고, 정부·공공과 교육은 한 곳도 없었어요. 삼성전자·LG전자·현대자동차·무신사·KB국민은행·케이뱅크·티빙·YES24 같은 곳이 이미 두고 있어요.

도입 경로도 보였어요. Cafe24로 만든 쇼핑몰 두 곳은 같은 내용의 llms.txt(“
”)를 두고 있었고, 워드프레스 SEO 플러그인(Rank Math)이 만든 파일도 있었어요. 사이트 주인이 직접 만들기보다 쓰는 플랫폼의 기본값이 도입을 이끌기 시작한 거예요.

구조화 데이터(JSON-LD)는 홈 기준 29.6%에 있었어요. 언론·플랫폼·커머스는 절반 이상, 교육은 4.5%였어요.

3.6 robots.txt 밖의 차단: 방화벽

측정한 1,133곳 중 42곳은 우리 측정 요청 자체를 403으로 거절했어요. 쿠팡·G마켓·SSG.COM·올리브영·오늘의집·빗썸 같은 대형 커머스·금융 사이트가 포함돼 있어요. 이 사이트들의 robots.txt가 AI 봇을 허용하더라도, 방화벽이 처음 보는 봇을 막는다면 AI 크롤러도 같은 일을 겪을 가능성이 커요.

3.7 의도하지 않은 차단: 구글만 허용 목록에

32곳은 AI 봇 이름을 하나도 적지 않았는데도 AI를 막고 있었어요. 모든 봇(*)을 막은 뒤 Googlebot·Yeti 같은 검색엔진만 따로 허용해 둔 경우예요. 이 설정은 AI 검색이 생기기 전에는 합리적이었지만, 지금은 ChatGPT 검색과 Perplexity 답변에서도 빠지게 만들어요. 운영자가 AI를 막겠다고 결정한 적이 없는데 막혀 있는 셈이에요.

학습과 검색을 나누는 정책이 자리 잡고 있어요

OpenAI·Anthropic·Perplexity는 학습용과 검색용 봇을 나눠 운영해요. Google도 Googlebot과 별개로 학습 통제용 Google-Extended를 두고 있어요. 이번 조사에서 GPTBot은 막고 OAI-SearchBot은 연 사이트가 74곳이었고, 언론에서는 이게 다수 정책이었어요. AI를 통째로 막을지 말지가 아니라, 무엇에 쓰이는 걸 허용할지 고르는 단계로 넘어가고 있어요.

차단은 이름이 알려진 봇에 몰려요

차단은 GPTBot·CCBot·Bytespider처럼 일찍 알려진 이름에 몰려 있었어요. Claude-User·Perplexity-User처럼 최근 생긴 실시간 조회 봇은 이름이 적힌 경우가 드물었어요. 사이트들이 정책을 한 번 정한 뒤 갱신하지 않는다는 신호이고, 새 봇은 대부분 모든 봇(*) 규칙을 따르게 돼요.

한국 웹의 진짜 장벽은 오래된 구조예요

AI를 의도적으로 막은 사이트(학습용만 막음 + AI 전부 막음)는 17.7%였지만, 홈이 막다른 길인 사이트는 18.3%였어요. 특히 공공·금융·교육처럼 신뢰도가 높아 AI가 인용하고 싶어 할 만한 출처일수록 이 비율이 높았어요. AI 검색에서 한국 공공 정보가 덜 인용된다면, 원인은 정책이 아니라 구조일 가능성이 커요.

• Tranco는 트래픽이 많은 사이트 위주라 중소기업·소상공인 사이트는 거의 들어 있지 않아요. 결과는 “
  ”를 대표해요.
• 업종 분류 중 2단계 도메인 기준은 기계적이지만, 직접 고른 사이트의 업종은 사람의 판단이에요. 커머스·금융·대기업 표본은 20~40곳으로 작아요.
• 2026-10-02 하루의 스냅샷이에요. robots.txt는 자주 바뀌므로 같은 측정을 반복해 추세를 봐야 해요.
• robots.txt는 의사 표시일 뿐이에요. 실제 AI 봇이 이를 지키는지, 막힌 사이트가 AI 답변에서 정말 빠지는지는 이번 조사 범위 밖이에요.
• 막다른 길 판정은 HTML을 읽는 규칙으로 했어요. 스크립트를 실행하는 크롤러에게는 다르게 보일 수 있어요.
• 방화벽 차단(3.6절)은 우리 측정 봇 기준이에요. AI 회사의 봇이 같은 대우를 받는지는 알 수 없어요.

AI 검색에 나오고 싶은 사이트라면 다음 순서로 점검하세요.

• 학습과 검색을 나눠 정하세요. 학습은 원치 않아도 AI 답변에는 나오고 싶다면 GPTBot·Google-Extended·ClaudeBot은 막고 OAI-SearchBot·ChatGPT-User·PerplexityBot·Claude-SearchBot은 열어 두는 게 언론사들이 고른 방식이에요.
• 모든 봇(*) 차단 + 검색엔진 허용 목록을 쓰고 있다면 다시 보세요. AI 검색 봇도 함께 막혀요. 원하는 AI 검색 봇 이름을 허용 목록에 더해야 해요.
• 홈이 스크립트로만 넘어가지 않게 하세요. 첫 화면 이동은 서버 리다이렉트(301·302)나 메타 리프레시로 바꾸고, 홈 HTML에 주요 메뉴 링크를 남겨 두세요.
• 방화벽 설정을 확인하세요. 보안 업체 설정에서 검증된 AI 검색 봇이 막히고 있지 않은지 로그로 확인하세요.
• llms.txt와 robots.txt를 함께 관리하세요. llms.txt를 두고도 robots.txt로 막고 있으면 의미가 없어요.

이번에 측정한 906곳의 판정을 직접 찾아볼 수 있어요. 도메인 일부만 입력해도 돼요.