AI 크롤러 방문 주기 분석: GPTBot, OAI-SearchBot, ClaudeBot이 새 글을 읽기까지 걸린 시간

구글 애널리틱스 같은 도구는 방문자의 브라우저에서 스크립트가 실행돼야 방문을 세요. AI 봇은 대부분 스크립트를 실행하지 않아서 이런 도구에는 거의 잡히지 않아요. 그래서 AI 봇이 내 사이트에 오는지 보려면 서버에 남는 접속 기록을 직접 봐야 해요.

앞선 조사에서 국내 웹사이트 4곳 중 3곳이 AI 봇을 막지 않았다는 걸 확인했어요. 이번에는 막지 않았을 때 실제로 어떤 일이 일어나는지 봤어요. 어떤 봇이, 언제, 얼마나 자주 오는지, 그리고 그만큼 사람을 보내 주는지요.

24일 동안 AI 봇은 2,517번 왔어요. 같은 기간 사람은 393번 왔어요. 구글, 네이버 같은 일반 검색 봇도 구글의 일시적인 몰림을 빼면 1,054번으로 AI 봇보다 적었어요.

가장 많은 글을 읽은 건 ChatGPT 검색 봇(OAI-SearchBot)이에요. 24일 동안 글 300편 중 65%를 한 번 이상 읽었어요. Perplexity는 50.3%, ChatGPT 학습용 봇(GPTBot)은 38%, Claude 학습용 봇(ClaudeBot)은 28.3%였어요. 네이버 검색 봇은 19%만 읽었어요.

그런데 사람 방문의 70.6%는 네이버에서 왔어요. 네이버 봇은 글을 적게 읽었지만, 실제로 사람을 보내 준 곳은 네이버였어요.

새로 올린 글 23편을 봤어요. 글을 올리고 처음 읽어 가기까지 걸린 시간의 중간값은 ClaudeBot 1.5시간, GPTBot 6.1시간, ChatGPT 검색 봇 15.3시간, Perplexity 28.3시간이었어요. 구글은 124.6시간, 약 5일이 걸렸어요.

빨리 온다고 다 오는 건 아니었어요. ClaudeBot은 가장 빨랐지만 새 글 23편 중 12편에만 왔어요. 반대로 Meta의 봇은 20편에 왔지만 대부분 3~4일 뒤에 왔어요.

저희 블로그는 구글에는 사이트맵을, 네이버, 빙에는 IndexNow로 새 글을 알려요. OpenAI나 Perplexity에는 따로 알리지 않는데도 구글보다 먼저 왔어요. 새 글이 구글 검색에 나오기 전에 AI 답변에 먼저 쓰일 수 있다는 뜻이에요.

글을 고치면 봇이 다시 와서 읽어야 AI가 바뀐 내용을 알아요. 같은 글을 다시 읽기까지의 중간값은 Perplexity 약 2.1일, ChatGPT 검색 봇 약 2.4일이었어요. ChatGPT 학습용 봇은 약 10일이었어요.

가격이나 영업시간을 바꿨다면 ChatGPT 검색 답변에는 2~3일 뒤에 반영될 수 있어요. 하지만 AI 학습에 들어간 옛날 정보가 바뀌려면 훨씬 오래 걸려요. 중요한 정보는 바뀌기 전에 미리 고쳐 두는 게 좋아요.

ChatGPT 검색 봇과 Perplexity 봇은 한국 시간으로 새벽 1시, 5시, 오전 10시, 오후 4시, 밤 10시 무렵에 몰려서 왔어요. 정해진 주기로 수집을 돌리는 거예요. 학습용 봇은 하루 종일 비슷하게 왔고, 사람은 낮 시간과 자정 무렵에 많았어요.

9월 15일 이후 사람 방문 265번을 보면, 네이버에서 187번, 구글에서 28번 왔어요. ChatGPT, Perplexity, Gemini 같은 AI 서비스에서 링크를 눌러 들어온 경우는 한 번도 없었어요.

그런데 같은 기간 AI가 사용자 질문에 답하려고 글을 실시간으로 연 기록은 45번(글 31편) 있었어요. 누군가 AI에게 질문했고, AI가 답을 만들려고 우리 글을 읽은 거예요. 그 뒤 한 시간 안에 같은 글에 사람이 들어온 적은 없었어요. 질문한 사람은 AI의 답만 보고 끝냈을 가능성이 커요.

• AI 성과는 방문자 수로 보지 마세요. AI 답변에서 들어오는 사람은 거의 없어요. 같은 질문을 AI에게 했을 때 내 브랜드가 나오는 비율을 보세요.
• 서버 기록에서 AI 봇이 오는지 확인하세요. 구글 애널리틱스에는 안 보여요. 어떤 글을 어떤 봇이 읽는지가 AI 노출의 첫 신호예요.
• 새 글은 첫 문단에 결론을 쓰세요. AI 검색 봇은 하루 안에 읽어 가요. 처음 몇 문장이 AI 답변에 그대로 쓰일 수 있어요.
• 바뀔 정보는 미리 고쳐 두세요. AI 검색에는 2~3일, 학습용 봇에는 열흘쯤 걸려요.
• 사이트맵과 IndexNow를 켜 두세요. 새 글을 빨리 알리는 가장 쉬운 방법이에요.