챗GPT에 사이트 안 나올 때 robots.txt 점검

작성자BaRam

2026년 9월 13일소요시간 14분

챗GPT·퍼플렉시티에 우리 사이트만 안 나오는 이유 (10초 robots.txt 점검법)

적지 않은 국내 웹사이트들이 자신도 모르는 사이에 AI 크롤러의 문을 굳게 걸어 잠그고 있습니다. AI에게 사이트를 숨기려고 작정한 경우는 드뭅니다. 대부분은 개발 외주 과정에서 복사해 온 코드 한 줄이나 호스팅 설정 하나를 확인하지 못해 챗GPT와 퍼플렉시티의 답변 출처에서 통째로 누락되는 상황을 겪습니다.

구글이나 네이버 검색엔진 최적화(SEO)를 끝마쳤다고 해서 생성형 AI 검색(GEO)까지 저절로 작동하지는 않습니다. 전통적인 검색엔진 봇과 생성형 AI 크롤러는 완전히 다른 이름표(User-agent)를 달고 방문하기 때문입니다.

10초 만에 끝내는 AI 크롤러 접근 진단

내 웹사이트 주소 뒤에 /robots.txt를 붙여 주소창에 입력하면 AI 크롤러 접근 허용 여부를 즉시 확인할 수 있습니다. 화면에 뜨는 텍스트 문서 안에서 User-agent와 Disallow 규칙이 어떻게 적혀 있는지만 확인하면 진단은 끝납니다.

치과나 전문 의원, B2B 기업 사이트 운영자라면 지금 바로 브라우저를 열고 내도메인.com/robots.txt를 쳐보세요. 아래와 같은 패턴이 보인다면 AI 봇의 접근이 차단된 상태입니다.

User-agent: *
Disallow: /

이 두 줄은 사이트의 모든 페이지를 세상의 모든 수집 로봇에게 보여주지 않겠다는 선언입니다. 검색엔진이나 AI 봇에게 "이 페이지는 수집하지 마세요"라고 문을 걸어 잠그는 역할을 합니다. 일반 구글봇(Googlebot)을 열어두었더라도, 주요 AI 봇의 이름이 적힌 차단 명령어가 있다면 해당 AI 엔진은 사이트의 최신 정보를 읽어갈 수 없습니다.

확인해야 할 핵심 AI 크롤러 이름은 3가지입니다.

GPTBot: 오픈AI의 기본 데이터 수집 및 학습용 봇
ClaudeBot: 앤스로픽(Anthropic) 클로드의 웹 크롤러
PerplexityBot: 퍼플렉시티 AI 검색엔진의 실시간 웹 색인 봇

텍스트 파일 안에 이 이름들 뒤로 Disallow: /가 붙어 있거나, 모든 봇을 뜻하는 *에 전체 차단(/)이 걸려 있다면 챗GPT는 질문을 받아도 해당 사이트의 링크나 텍스트를 답변 카드로 띄우지 못합니다.

robots.txt와 방화벽에서 AI 크롤러 차단이 일어나는 원인

웹사이트가 AI 검색에서 차단되는 주된 원인은 개발 단계의 임시 설정 방치와 인프라 단의 보안 필터 때문입니다. 관리자가 일부러 막지 않았는데도 크롤러가 튕겨 나가는 환경이 저절로 만들어지는 셈입니다.

첫 번째 원인은 스테이징(개발) 서버 설정을 상용 서버에 그대로 배포하는 실수입니다. 개발 단계에서는 검색 노출을 피하려고 사이트 전체를 Disallow: /로 막아두곤 하는데요. 오픈 후 구글 서치 콘솔이나 네이버 서치어드바이저에 등록하면서 일반 검색 봇만 따로 열어두고, AI 봇 규칙은 예전문서 그대로 방치하는 경우가 흔합니다.

두 번째 원인은 CDN이나 WAF(웹 방화벽) 레벨의 자동 차단입니다. mersel.ai에 따르면 전 세계 웹사이트의 약 20%를 보호하는 클라우드플레어(Cloudflare)는 2024년부터 신규 도메인에 대해 기본 설정으로 AI 크롤러 차단을 적용하기 시작했습니다. Bot Fight Mode 같은 보안 기능이 활성화되면, robots.txt 파일에 수집을 허용해 두었더라도 방화벽 단계에서 AI 봇의 요청을 자동화 트래픽으로 판단해 차단해 버립니다.

대형 포털은 데이터 주권을 지키기 위해 의도적으로 빗장을 걸기도 합니다. etnews.com에 따르면 네이버는 2025년 7월 기준 블로그, 카페, 지식인, 뉴스, 쇼핑 등 핵심 서비스에서 robots.txt 파일을 통해 오픈AI, 퍼플렉시티, 구글, 클로드, 메타, 애플 등 글로벌 AI 봇의 크롤링을 차단했습니다. 네이버 카페의 경우 아마존과 MS빙 등의 AI 봇 크롤링까지 제한을 넓혔습니다. bluedot.so에 따르면 네이버 블로그 robots.txt에는 AI 학습(Training) 및 검색 증강 생성(RAG) 목적의 봇 접근을 엄격히 금지한다는 선언과 함께 GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot 등이 Disallow 처리되어 있습니다.

이에 대해 가천대학교 최경진 교수는 글로벌 기업들이 데이터 전쟁을 벌이는 경쟁 환경에서 네이버가 타사 모델의 학습용 데이터 수집을 막는 조치는 가능하고 불가피한 일이라고 평가했습니다. 다만 네이버는 무단 크롤링은 차단하되 공식적으로 허용한 오픈 API를 활용해 정책을 준수하는 정보 수집은 허용하고 있습니다. 플랫폼 기업은 이처럼 자사 데이터를 지키기 위해 전략적 선택을 하지만, 유입과 전환이 절실한 비즈니스 사이트가 단순 설정 실수로 문을 닫아두는 것은 치명적인 손실입니다.

robots.txt 차단 해제 사례: AI 검색 인용 변화와 점검

robots.txt와 방화벽 설정을 바로잡으면 AI 검색 엔진에서의 브랜드 언급과 인용 반응을 정상 궤도로 올릴 수 있습니다. 실제로 검색 유입은 꾸준하지만 챗GPT나 퍼플렉시티 답변에서 누락되던 웹사이트들을 대상으로 설정을 정상화하면 수집 로그와 검색 노출에서 뚜렷한 전환이 확인됩니다.

mersel.ai에 따르면 2023년 8월 이후 활동 중인 AI 봇 수가 2배로 증가했을 만큼 수집 활동이 활발해진 상태이므로, 차단을 해제하는 즉시 봇의 유입이 본격화됩니다.

비교 항목	조치 전 (Before)	조치 후 정상화 (After)
robots.txt 상태	`User-agent: * Disallow: /` 방치	주요 AI 검색 봇 명시적 `Allow: /` 적용
WAF 봇 보안 레벨	AI 자동화 트래픽 일괄 차단(Challenge)	검증된 AI 봇 예외 규칙 적용
AI 봇 크롤링 로그	접근 거부(403 Forbidden 등)	크롤러 요청 정상 응답(200 OK) 전환
AI 검색 인용 상태	챗GPT·퍼플렉시티 인용 제외	검색 질문 답변 내 출처 링크 인용 가능 상태 전환

robots.txt를 열었다고 해서 검색 결과에서 즉시 1순위로 채택되는 것은 아니지만, 최소한 크롤러가 콘텐츠를 읽고 인용 후보군에 올려두는 기본 자격이 갖춰집니다. inblog.ai에서 인용한 Statista 집계에 따르면 AI 검색 및 요약 트래픽은 연간 2배씩 성장하고 있습니다. 수집 창구를 막아둔 채로는 이 거대한 흐름에서 배제될 수밖에 없습니다.

AI 크롤러 제어를 위한 robots.txt 실무 코드와 메타 태그 점검

AI 검색 유입을 확보하려면 차단을 해제하고 싶은 봇을 지정해 Allow 처리하거나 불필요한 경로만 좁혀서 제한해야 합니다. 사이트 운영 전략에 맞춰 아래 코드 중 하나를 골라 파일에 적용할 수 있습니다.

1. 모든 AI 검색과 인용을 전면 허용할 때

브랜드 인지도와 트래픽 유입이 가장 중요한 일반 기업, 병의원, 이커머스 사이트에 권장하는 표준 형태입니다.

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://내도메인.com/sitemap.xml

2. 검색 인용은 열고 무단 대규모 학습만 선별 통제할 때

퍼플렉시티나 오픈AI의 실시간 검색 인용은 환영하지만, 단순 파운데이션 모델 학습용 스크래핑을 통제하고 싶다면 크롤러를 분리해 지정할 수 있습니다.

# 일반 검색엔진 허용
User-agent: *
Allow: /

# 검색용 봇 허용
User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

# 대규모 모델 학습 크롤러 선별 차단
User-agent: Google-Extended
Disallow: /

Sitemap: https://내도메인.com/sitemap.xml

AI 봇마다 수집 목적과 작동 방식이 조금씩 다릅니다.

크롤러 이름	운영 주체	주 목적	설정 권장 기준
PerplexityBot	Perplexity AI	실시간 AI 검색 색인 및 답변 출처 인용	유입 확보를 위해 필수 Allow
OAI-SearchBot	OpenAI	ChatGPT 검색 기능 전용 웹 크롤링	검색 엔진 노출을 위해 필수 Allow
GPTBot	OpenAI	모델 학습 데이터 및 콘텐츠 수집	브랜드 가시성을 위해 Allow 권장
ClaudeBot	Anthropic	클로드 지식 기반 수집 및 웹 탐색	레퍼런스 노출을 위해 Allow 권장
Google-Extended	Google	제미나이(Gemini) 등 AI 모델 학습	검색 색인과 무관하므로 선택적 통제 가능

함께 점검해야 할 메타 태그 (noindex·noarchive)

robots.txt를 올바르게 열어두었더라도, 개별 웹페이지의 HTML <head> 영역에 로봇 메타 태그가 잘못 들어가 있다면 AI 검색 노출이 차단됩니다.

<!-- 검색 및 인용을 완전히 차단하는 메타 태그 예시 -->
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="noarchive">

noindex는 검색엔진과 AI 크롤러에게 해당 페이지를 색인 데이터베이스에 넣지 말라고 지시하며, noarchive는 캐시 저장을 막아 AI 모델이 스냅샷을 참조하지 못하게 만듭니다. robots.txt 수정을 마쳤다면 핵심 랜딩페이지 소스 코드에 불필요한 noindex나 noarchive 속성이 남아 있지 않은지 반드시 교차 점검해야 합니다.

AI 검색 노출을 위한 재크롤링 타임라인과 가시성 추적

robots.txt 파일을 수정했다고 해서 그 즉시 챗GPT나 퍼플렉시티의 답변에 반영되는 것은 아닙니다. 각 크롤러가 사이트의 변경된 규칙을 다시 읽어가고 기존 캐시를 갱신하는 데 일정 시간이 소요됩니다.

robots.txt 캐시 갱신 주기: 검색 봇들은 대개 robots.txt 파일을 매번 새로 요청하지 않고 짧게는 수 시간, 길게는 24시간 동안 자체 캐시해 둡니다. 따라서 설정을 바꾼 뒤 최소 하루 정도는 봇이 새 규칙을 인식할 때까지 대기해야 합니다.
검색엔진별 재크롤링 타임라인:
- PerplexityBot: 실시간 웹 검색 및 인용 중심 구조로 동작하므로, 허용 전환 후 최신 콘텐츠에 대한 크롤링 요청이 비교적 빠르게 발생합니다.
- OAI-SearchBot / GPTBot: 사이트의 사이트맵 갱신 빈도와 도메인 권위도에 따라 수일에서 수주에 걸쳐 순차적으로 페이지를 재수집하고 색인에 반영합니다.
- 일반 검색엔진과 마찬가지로 사이트맵(sitemap.xml)을 함께 제출해 주면 크롤러의 재방문 주기를 단축하는 데 도움이 됩니다.

robots.txt 파일을 열어두는 작업은 AI 검색 최적화의 완성선이 아니라 출발선입니다. 문을 열어 크롤러가 드나들기 시작했다면, 실제로 챗GPT나 퍼플렉시티가 우리 사이트의 데이터를 읽어가서 어떤 키워드 질문에 답변 출처로 인용하고 있는지 지표를 살펴야 합니다.

검색엔진 최적화에서 서치 콘솔의 클릭률을 살피듯, 생성형 AI 최적화 영역에서도 정기적인 점검이 요구됩니다. 인공지능 검색 환경에서 자사 브랜드의 노출 빈도와 인용 상태를 정밀하게 분석하고 싶다면 BaRam에서 제공하는 AI 검색 진단을 통해 현재 브랜드 가시성 점수부터 확인해 보세요.

*이 콘텐츠는 AI의 도움을 받아 작성되었으며, BaRam 팀이 내용을 검토하였습니다.