한국 웹사이트 AI 크롤러 차단 현황: 906곳 robots.txt 조사 (2026년 10월)

ChatGPT나 Perplexity는 답을 만들 때 웹페이지를 읽어 와요. 이 일을 하는 프로그램을 크롤러(봇)라고 해요. 사이트 주인은 robots.txt라는 파일에 “이 봇은 들어오지 마세요”라고 적어서 크롤러를 막을 수 있어요.

AI 회사의 봇은 크게 두 종류예요.

• 학습용 봇: AI 모델을 만들 때 쓸 글을 모아요. OpenAI의 GPTBot, 구글의 Google-Extended, Anthropic의 ClaudeBot이 여기에 들어가요.
• 검색용 봇: 누군가 AI에게 질문했을 때 답에 참고할 페이지를 찾아요. ChatGPT 검색의 OAI-SearchBot, Perplexity의 PerplexityBot이 여기에 들어가요.

학습용 봇을 막으면 내 글이 AI 학습에 쓰이지 않아요. 검색용 봇을 막으면 AI 답변에 내 사이트가 출처로 나오기 어려워져요. 그래서 둘을 따로 정하는 사이트가 늘고 있어요.

확인한 906곳 중 74.2%는 AI 봇을 하나도 막지 않았어요. 학습용만 막은 곳이 13.2%, AI 봇을 모두 막은 곳이 4.5%, 구글 검색 봇까지 막은 곳이 8.1%였어요.

업종마다 차이가 컸어요. 커뮤니티, 포털 같은 플랫폼은 44.2%만 전부 열어 뒀어요. 반대로 대기업 사이트는 96.9%가 전부 열려 있었어요. 글과 게시물이 곧 자산인 곳은 막고, 회사와 제품을 알리고 싶은 곳은 열어 둔 거예요.

봇별로 보면 GPTBot이 21.6%로 가장 많이 막혀 있었어요. 같은 OpenAI의 검색용 봇인 OAI-SearchBot은 13.7%였어요. 다른 회사도 비슷했어요. 학습용 봇이 검색용 봇보다 더 많이 막혀 있었어요.

새로 나온 봇은 거의 언급되지 않았어요. robots.txt에 GPTBot 이름을 적어 둔 사이트는 134곳이었는데, 사용자가 질문할 때 페이지를 여는 Claude-User는 44곳, Perplexity-User는 38곳뿐이었어요. 한 번 설정을 정한 뒤 새 봇이 나와도 업데이트하지 않는 곳이 많다는 뜻이에요.

언론사 40곳은 다른 업종과 확연히 달랐어요. GPTBot은 45%가 막았는데, OAI-SearchBot은 10%만 막았어요. 구글의 학습용 봇(Google-Extended)은 22.5%가 막았지만, 구글 검색 봇을 막은 곳은 한 곳도 없었어요.

기사가 AI 학습에 그냥 쓰이는 건 거부하지만, ChatGPT나 Perplexity 답변에 출처로 나오는 건 받아들이겠다는 선택이에요. AI 검색에서 독자가 들어올 길은 남겨 둔 거예요.

설정이 서로 맞지 않는 곳도 있었어요. 아시아경제와 한국일보는 AI에게 사이트를 소개하는 llms.txt 파일을 만들어 뒀는데, robots.txt에서는 AI 봇 대부분을 막고 있었어요. AI가 읽을 안내문은 있는데 정작 사이트에는 들어오지 못하는 상태예요.

정부, 공공 사이트는 robots.txt로 보면 84.6%가 열려 있었어요. 그런데 홈페이지를 열어 보니 43.1%가 AI에게 사실상 빈 페이지였어요.

이런 홈페이지에는 내용 대신 “/main/index.do로 이동하라”는 자바스크립트 한 줄만 들어 있어요. 사람이 쓰는 브라우저는 이 명령을 실행해서 진짜 첫 화면으로 넘어가요. 하지만 자바스크립트를 실행하지 않는 크롤러는 빈 화면에서 멈춰요. 다음 페이지로 갈 링크도 없어서 사이트 안쪽으로 들어가지 못해요.

<html><head>
<script>
  location.href = "/main/index.do";
</script>
</head><body></body></html>

전체로는 18.3%가 이런 상태였어요. 금융이 50%, 교육이 23.9%로 높았고, 언론은 2.5%로 가장 낮았어요. 공공, 금융, 교육 정보는 AI가 인용하고 싶어 할 만한 믿을 만한 정보인데, 정작 AI가 읽지 못하고 있어요. 원인은 차단 설정이 아니라 오래된 홈페이지 구조예요.

llms.txt는 AI에게 “우리 사이트는 이런 곳이고, 중요한 페이지는 여기 있다”고 알려 주는 파일이에요. 906곳 중 51곳(5.6%)이 갖고 있었어요.

대기업이 18.8%, 언론이 15%로 높았어요. 삼성전자, LG전자, 현대자동차, 무신사, KB국민은행, 케이뱅크, 티빙, YES24가 이미 만들어 뒀어요. 정부, 공공과 교육 사이트는 한 곳도 없었어요.

사이트 제작 도구가 대신 만들어 주는 경우도 보였어요. Cafe24로 만든 쇼핑몰 두 곳은 Cafe24가 제공하는 똑같은 llms.txt를 쓰고 있었고, 워드프레스 SEO 플러그인이 만든 파일도 있었어요. 앞으로는 사이트 주인이 직접 만들기보다 이런 도구가 대신 만들어 주면서 늘어날 가능성이 커요.

보안 장비가 봇을 막는 경우

42곳은 저희 확인 요청을 아예 거절했어요. 쿠팡, G마켓, SSG.COM, 올리브영, 오늘의집, 빗썸 같은 큰 쇼핑, 금융 사이트가 여기에 들어가요. robots.txt에서 AI 봇을 허용해도, 보안 장비가 처음 보는 봇을 막는다면 AI 봇도 들어가지 못할 수 있어요.

구글만 허용해 두다 AI까지 막힌 경우

32곳은 robots.txt에 AI 봇 이름을 하나도 적지 않았는데도 AI를 막고 있었어요. 모든 봇을 막은 다음 구글 같은 검색엔진 봇만 따로 허용해 둔 경우예요. AI 검색이 나오기 전에는 흔하고 문제없는 설정이었어요. 지금은 이 설정 때문에 ChatGPT 검색과 Perplexity 답변에서도 빠지게 돼요. AI를 막기로 정한 적이 없는데 막혀 있는 거예요.

• 학습용과 검색용을 따로 정하세요. AI 학습은 원하지 않지만 AI 답변에는 나오고 싶다면 GPTBot, Google-Extended, ClaudeBot은 막고, OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot은 열어 두세요. 언론사들이 고른 방식이에요.
• “모든 봇 차단 + 검색엔진만 허용”을 쓰고 있다면 바꾸세요. AI 검색 봇도 같이 막혀요. 원하는 AI 검색 봇 이름을 허용 목록에 더하면 돼요.
• 홈페이지가 자바스크립트로만 넘어가지 않게 하세요. 첫 화면 이동은 서버에서 처리하고(301, 302 리다이렉트), 홈페이지에 주요 메뉴 링크를 남겨 두세요.
• 보안 장비 설정을 확인하세요. 방화벽이나 봇 차단 서비스가 AI 검색 봇을 막고 있지 않은지 로그를 보세요.
• llms.txt와 robots.txt를 같이 보세요. llms.txt를 만들어 두고 robots.txt로 막고 있으면 의미가 없어요.

이번에 확인한 906곳의 결과를 찾아볼 수 있어요. 주소 일부만 입력해도 돼요.