AI 크롤러 방문 로그 분석 — GPTBot·OAI-SearchBot·ClaudeBot은 언제, 얼마나 자주 읽어 가나

앞선 조사(BRR-2026-01)에서 한국 웹사이트 네 곳 중 세 곳이 AI 크롤러에게 문을 열어 두었다는 걸 확인했어요. 그렇다면 다음 질문은 이거예요. 문을 열어 두면 AI 봇은 실제로 무엇을, 언제, 얼마나 자주 읽어 갈까요? 그리고 그만큼 사람을 보내 줄까요?

이 질문에 답하기 어려운 이유는 측정 도구에 있어요. 구글 애널리틱스 같은 도구는 브라우저에서 스크립트가 실행돼야 방문을 세는데, 크롤러는 대부분 스크립트를 실행하지 않아요. 그래서 AI 봇 방문은 서버 로그를 직접 열어 보지 않으면 보이지 않아요. Cloudflare가 자사 네트워크 데이터로 AI 봇의 크롤링에 비해 돌아오는 방문이 매우 적다고 보고한 적이 있지만, 한국 사이트의 글 단위 관측은 찾기 어려웠어요.

2.1 데이터

BaRam이 호스팅하는 고객사 블로그의 서버 측 방문 기록이에요. 페이지 요청이 서버에 닿을 때마다 시각, 글 주소, 사용자 에이전트, 출처(referrer)를 남겨요. 스크립트 실행과 무관하게 기록되므로 봇 방문도 빠짐없이 잡혀요.

관측 구간은 2026년 9월 7일부터 30일까지 24일이에요. 9월 초까지는 방문 분류 규칙(유입 출처, 아카이버, 위장 사용자 에이전트 처리)이 여러 번 바뀌어 그 이전과는 비교할 수 없어서 이 구간만 썼어요. 이 기간 방문 기록이 있는 블로그 8곳, 발행 글 300편이 대상이에요.

2.2 분류

2.3 지표

• 커버리지: 발행 글 중 그 봇이 24일 안에 한 번이라도 읽은 글의 비율.
• 첫 방문까지 걸린 시간: 9월 7~23일에 발행된 글 23편(발행 뒤 7일을 모두 관측할 수 있는 글)에서, 발행 시각부터 그 봇의 첫 방문까지.
• 재방문 간격: 같은 봇이 같은 글을 다시 읽기까지의 시간. 1분 안의 중복 요청은 뺐어요.
• 유입 출처: 사람 방문의 referrer. 출처 기록을 고친 9월 15일 이후 기록만 썼어요.

3.1 AI는 사람보다 6.4배 많이 읽어 가요

24일 동안 AI 봇은 2,517번 글을 읽어 갔어요. 학습·수집이 1,833번, AI 검색 색인이 648번, 실시간 조회가 36번이에요. 같은 기간 사람 방문은 393번이었어요. 일반 검색엔진은 구글 몰림을 빼면 1,054번으로, AI 봇보다 적었어요.

가장 넓게 읽은 건 OAI-SearchBot 이었어요. 24일 동안 발행 글의 65%를 한 번 이상 읽었어요. PerplexityBot이 50.3%, GPTBot이 38%, ClaudeBot이 28.3%였어요. 같은 기간 네이버 검색 봇은 19%만 읽었어요. 사람 방문의 70.6%가 네이버에서 왔다는 점을 생각하면, 네이버는 글을 적게 읽고도 사람을 가장 많이 보내 준 셈이에요.

3.2 AI 검색 봇은 정해진 시각에 몰려 와요

시각별로 보면 리듬이 뚜렷하게 갈렸어요. AI 검색 색인 봇은 한국 시간 새벽 1시·5시, 오전 10시, 오후 4시, 밤 10시 전후에 몰려 왔어요. 일정한 주기로 수집 작업을 돌린다는 뜻이에요. 반면 학습·수집 봇은 하루 24시간 거의 고르게 왔고, 사람은 낮 시간과 자정 무렵에 몰렸어요.

3.3 새 글은 AI가 구글보다 먼저 읽어요

새로 발행된 글 23편을 보면, ClaudeBot은 중앙값 1.5시간 만에 처음 찾아왔어요. GPTBot은 6.1시간, OAI-SearchBot은 15.3시간, PerplexityBot은 28.3시간이었어요. Googlebot은 124.6시간, 약 5일이 걸렸어요.

빠르다고 다 오는 건 아니었어요. ClaudeBot은 가장 빨랐지만 새 글의 절반(12편)만 찾아왔고, GPTBot은 7편이었어요. 반대로 meta-externalagent는 20편으로 가장 많은 새 글을 찾아왔지만 약 3.7일이 걸렸어요.

3.4 고친 글은 봇마다 다시 읽는 때가 달라요

글을 고쳤을 때 AI가 언제 새 내용을 보게 될지는 재방문 간격에 달려 있어요. 같은 글을 다시 읽기까지의 중앙값은 Bytespider가 13.8시간으로 가장 짧았고, PerplexityBot 50시간, OAI-SearchBot 58시간이었어요. GPTBot은 237시간, 약 10일이었어요.

실무에서 중요한 차이예요. 가격이나 영업시간을 고쳤을 때 ChatGPT 검색 답변에는 2~3일 안에 반영될 수 있지만, 학습용 GPTBot은 열흘 가까이 지나서야 다시 읽어요. 학습 데이터에 들어간 옛 정보가 바뀌는 데는 그보다 훨씬 오래 걸리고요.

3.5 AI 검색 봇은 넓고 고르게 읽어요

봇이 읽은 글 중 가장 많이 읽힌 상위 10% 글이 전체 방문에서 차지한 비중을 비교했어요. 값이 클수록 몇몇 글에 몰려서 읽는다는 뜻이에요.

OAI-SearchBot과 PerplexityBot은 상위 10% 글의 비중이 21~22%로, 많은 글을 고르게 한두 번씩 읽었어요. bingbot은 52%, 네이버 봇은 38.4%로 일부 글을 반복해서 읽었어요. AI 검색은 이미 유명한 글만이 아니라 덜 알려진 글도 색인한다는 뜻이고, 새 글이 AI 답변에 들어갈 여지가 그만큼 넓어요.

3.6 읽어 가지만 보내 주지는 않아요

9월 15일 이후 사람 방문 265건의 출처를 보면 네이버가 187건, 구글이 28건, 출처 없음이 36건이었고, chatgpt.com·perplexity.ai·gemini.google.com·copilot·claude.ai에서 온 방문은 0건이었어요. 같은 기간 실시간 조회 봇(ChatGPT-User 등)은 글 31편을 45번 열었어요. 누군가 AI에게 물었고, AI가 그 답을 만들려고 우리 글을 읽었다는 뜻이에요. 그런데 그 뒤 1시간 안에 같은 글에 사람이 들어온 경우는 한 번도 없었어요.

AI 검색의 성과는 클릭으로 잴 수 없어요

AI는 글을 읽어 답을 만들고, 사용자는 답만 보고 떠나요. 이번 관측에서 실시간 조회는 있었지만 클릭은 없었어요. AI 검색에서의 성과를 방문자 수로 재면 늘 0에 가깝게 보여요. 대신 봐야 할 건 두 가지예요. AI 봇이 내 글을 읽어 가고 있는지(서버 로그), 그리고 AI 답변에 내 브랜드가 얼마나 자주, 어떻게 나오는지(언급률)예요.

새 글이 AI에 닿는 속도는 구글보다 빨라요

OAI-SearchBot과 PerplexityBot은 새 글을 하루 안팎에 읽었고, Googlebot은 닷새가 걸렸어요. 구글에는 사이트맵을, 네이버·빙에는 IndexNow를 보내지만 OpenAI·Perplexity에는 따로 알리지 않는 환경에서 나온 차이예요. 구글 검색에 노출되기 전에 AI 답변에 먼저 쓰일 수 있다는 뜻이고, 첫 문단에 결론을 두는 글쓰기가 더 중요해지는 이유예요.

학습과 검색은 리듬이 달라요

학습용 봇은 하루 내내 고르게, 그러나 같은 글은 드물게 다시 읽었어요. 검색용 봇은 정해진 시각에 몰려 와서 같은 글을 2~3일마다 다시 읽었어요. robots.txt 정책을 정할 때 이 둘을 나눠 생각해야 하는 이유이기도 해요. 앞선 조사에서 언론사의 절반 가까이가 학습용만 막은 것도 같은 맥락이에요.

• BaRam이 호스팅하는 블로그 8곳의 기록이에요. 자동 발행 블로그라는 특성과 업종 구성이 결과에 영향을 줬을 수 있어요.
• 관측 기간이 24일이고, 첫 방문 분석의 새 글은 23편이에요. 봇별로 찾아온 글이 4~20편이라 중앙값이 불안정할 수 있어요.
• 봇 구분은 사용자 에이전트 기준이에요. 이름을 흉내 낸 요청 일부가 섞였을 수 있어요(위장으로 판정된 요청은 뺐어요).
• AI 앱 일부는 링크를 열 때 출처를 넘기지 않아요. AI에서 온 사람이 “
  ”으로 잡혔을 가능성이 있어요.
• 우리는 발행 즉시 IndexNow·인터넷 아카이브에 알리고 사이트맵을 제출해요. 이런 알림을 보내지 않는 사이트에서는 첫 방문이 더 늦을 수 있어요.

• 서버 로그로 AI 봇 방문을 보세요. 분석 도구에는 안 잡혀요. 어느 글을 어떤 봇이 읽는지가 AI 노출의 첫 신호예요.
• 새 글은 첫 문단에 결론을 두세요. AI 검색 봇은 하루 안에 읽어 가요. 구글보다 먼저 AI 답변에 쓰일 수 있어요.
• 고친 정보가 반영되는 데 시간이 걸린다는 걸 감안하세요. AI 검색 색인은 2~3일, 학습용은 열흘 안팎이에요. 중요한 정보는 바뀌기 전에 미리 고쳐 두세요.
• 성과는 클릭 대신 언급률로 재세요. AI 답변에서 클릭해 오는 사람은 거의 없어요. 같은 질문에 브랜드가 나오는 비율이 먼저 움직여요.
• 사이트맵과 IndexNow를 켜 두세요. 발견 속도를 앞당기는 가장 싼 방법이에요.