- 14일 넘게 잰 질문과 엔진 조합 119개 중 42%는 질문한 회사가 어떤 날은 나오고 어떤 날은 안 나왔어요. 매번 나온 경우는 1개뿐이었어요.
- 그런 질문은 한 번 물어본 결과가 20% 확률로 틀렸어요. 한 주를 재도 실제 언급률과 평균 15%p 달랐어요.
- 다시 물었을 때 처음 꼽는 회사가 그대로인 경우는 37%~44%였어요. 한 번 본 화면으로 순위를 말하기는 어려워요.
AI는 왜 같은 질문에 다른 답을 할까
ChatGPT 같은 AI는 답을 쓸 때 다음에 올 말을 확률에 따라 골라요. 그래서 같은 질문을 해도 문장이 매번 조금씩 달라요. 추천을 구하는 질문이라면 꼽는 회사도 함께 달라져요.
웹 검색을 켜 두면 차이가 더 커져요. AI가 그날 검색해서 읽은 페이지가 답의 재료가 되는데, 검색 결과와 읽어 오는 페이지가 매번 같지 않기 때문이에요. 어떤 사이트를 출처로 다는지는 AI 답변 인용 출처 분석에서 따로 쟀어요.
그렇다면 “ChatGPT에 물어봤더니 우리 회사가 안 나온다”는 한 번의 확인은 얼마나 믿을 수 있을까요? 같은 질문을 매일 물어 쌓인 답으로 확인했어요.
가끔 나오는 질문이 매번 나오는 질문보다 훨씬 많아요
14일 넘게 잰 질문과 엔진의 조합 119개를 기간 전체 언급률로 나눠 봤어요. 질문한 회사가 한 번도 안 나온 조합이 68개(57%), 어떤 날은 나오고 어떤 날은 안 나온 조합이 50개(42%)였어요. 매번 나온 조합은 1개뿐이었어요.
가끔 나오는 조합의 평균 언급률은 21%였어요. 다섯 번 물으면 한 번쯤 나오는 정도예요. 위 그림처럼 어떤 질문은 열흘 가까이 안 나오다가 며칠 연달아 나오고, 다시 사라지기도 했어요.
14일 넘게 잰 질문의 언급 모양
| 엔진 | 조합 수 | 한 번도 안 나옴 | 가끔 나옴 | 매번 나옴 |
|---|---|---|---|---|
| ChatGPT | 42 | 30 | 12 | 0 |
| Gemini | 45 | 21 | 23 | 1 |
| Perplexity | 32 | 17 | 15 | 0 |
한 번 물어보면 다섯 번 중 한 번은 틀린 결론이에요
가끔 나오는 질문에서 하루의 결과만 보고 “나온다” 또는 “안 나온다”고 판단하면, 20% 확률로 기간 전체의 모습과 반대 결론이 났어요. 사흘 안에 다시 물었을 때 결과가 뒤바뀐 경우도 19%였어요.
ChatGPT가 가장 많이 흔들렸어요. 한 번 확인이 틀릴 확률이 28.3%, 다음 측정에서 바뀐 비율이 24.7%였어요. Gemini는 14.1%로 가장 낮았지만, Gemini에서 가끔 나오는 질문은 평균 언급률 자체가 14%로 낮았어요. 대부분 안 나오는 쪽이라 틀릴 여지가 적었던 거예요.
한 번, 한 주만 쟀을 때 빗나가는 정도
한 주를 재도 평균 15%p쯤 빗나가요
하루가 아니라 한 주를 재면 나아질까요? 5일 이상 잰 주마다 언급률을 구해 기간 전체 언급률과 비교했어요. 차이는 평균 15%p였고, 차이가 큰 쪽 10%는 38%p를 넘었어요.
실제 언급률이 20%인 회사가 어떤 주에는 0%로, 어떤 주에는 50%로 보일 수 있다는 뜻이에요. 무언가를 바꾼 다음 주에 숫자가 올랐다고 해서 그 조치 덕분이라고 말하기 어려운 이유예요.
±10%p 안으로 재려면 47번 물어야 해요
언급률을 원하는 정확도로 재려면 몇 번 물어야 하는지 계산했어요. 가끔 나오는 질문 기준으로, 95% 신뢰도에서 오차를 ±10%p 안에 넣으려면 가운데 값으로 47번이 필요했어요. 하루 한 번 묻는다면 7주쯤이에요. ±5%p로 좁히려면 187번이 필요했어요.
정확도별로 필요한 측정 횟수 (가운데 값)
| 엔진 | 가끔 나오는 조합 | 평균 언급률 | ±10%p | ±5%p |
|---|---|---|---|---|
| ChatGPT | 12 | 29% | 84번 | 336번 |
| Gemini | 23 | 14% | 19번 | 73번 |
| Perplexity | 15 | 27% | 45번 | 180번 |
| 세 엔진 전체 | 50 | 21% | 47번 | 187번 |
횟수는 세 엔진을 합쳐 셀 수 없어요. 엔진마다 언급률이 달라서, ChatGPT 결과를 재려면 ChatGPT에만 그만큼 물어야 해요.
출처와 첫 번째로 꼽는 회사도 매번 바뀌어요
같은 질문을 사흘 안에 다시 물었을 때 두 답변이 인용한 사이트가 얼마나 겹치는지 봤어요. Perplexity는 57%가 겹쳐 가장 안정적이었어요. ChatGPT는 35%, Gemini는 27%였어요. Gemini는 두 답변의 출처가 절반 이상 같은 경우가 12%뿐이었어요.
답변에서 가장 먼저 이름이 나온 회사도 자주 바뀌었어요. 다음 측정에서도 같은 회사가 먼저 나온 경우는 ChatGPT 37%, Gemini 39%, Perplexity 44%였어요. 세 엔진 모두 절반이 안 돼요.
같은 날 엔진끼리 비교하면 차이가 더 커요. 2026년 10월 14일 “잠실 피부과 추천해줘” 같은 지역 병원 질문 20개를 세 AI에 물었더니, 나온 이름 302개(앱, 지도 서비스 포함) 중 두 엔진 이상이 꼽은 곳은 38개(13%), 세 엔진 모두 꼽은 곳은 5개였어요. 이 질문들은 매주 다시 물어 AI 추천 리포트로 공개하고 있어요.
다시 물었을 때 그대로인 비율
AI 노출은 이렇게 재세요
- 한 번 물어본 결과로 판단하지 마세요. 가끔 나오는 회사라면 다섯 번 중 한 번은 반대 결론이 나와요. 같은 질문을 여러 날에 걸쳐 물어 나온 비율을 보세요.
- 질문을 고정하세요. 묻는 말이 바뀌면 답도 바뀌어서, 숫자가 달라진 이유를 알 수 없어요. 고객이 실제로 할 만한 질문 몇 개를 정해 두고 같은 문장으로 반복하세요.
- 엔진별로 따로 보세요. 엔진마다 언급률도 흔들리는 정도도 달랐어요. 세 엔진을 합친 숫자는 한 엔진의 변화를 가려요.
- 변화는 몇 주 단위로 판단하세요. 한 주의 숫자는 평균 15%p쯤 빗나가요. 무언가를 바꿨다면 바꾸지 않은 질문과 나란히 몇 주를 비교하세요.
- 순위 보고는 몇 번 잰 결과인지 물어보세요. 처음 꼽는 회사는 다음 측정에서 절반 넘게 바뀌어요. “1위로 나왔다”는 화면 한 장보다 몇 번 중 몇 번인지가 중요해요.
자주 묻는 질문
ChatGPT에 같은 질문을 해도 매번 다른 답이 나오는 이유는 뭔가요?
AI는 답을 쓸 때 다음에 올 말을 확률에 따라 골라요. 같은 질문이라도 매번 조금씩 다른 문장이 나오고, 그 과정에서 꼽는 회사도 달라져요. 웹 검색을 켜 두면 그날 찾은 페이지도 바뀌어서 차이가 더 커져요.
ChatGPT에 우리 회사를 물었더니 안 나왔어요. 정말 안 나오는 건가요?
한 번으로는 알 수 없어요. 이번 분석에서 가끔 나오는 회사는 ChatGPT에 한 번 물어본 결과가 평균 28% 확률로 기간 전체의 실제 모습과 반대였어요. 같은 질문을 여러 날에 걸쳐 물어 나온 비율로 판단하세요.
AI 노출을 제대로 재려면 몇 번 물어봐야 하나요?
가끔 나오는 질문의 언급률을 ±10%p 안으로 재려면 가운데 값 기준으로 47번이 필요했어요. 하루 한 번이면 7주쯤이에요. 엔진마다 달라서 Gemini는 19번, ChatGPT는 84번이었어요.
"AI 답변 1위로 만들어 준다"는 말은 믿어도 되나요?
처음 꼽는 회사가 다음 측정에도 그대로인 경우는 37%~44%였어요. 한 번 1위로 나온 화면은 다음 날 바뀔 가능성이 더 커요. 결과를 볼 때는 몇 번 물어서 몇 번 나왔는지, 비교한 질문은 무엇인지 함께 확인하세요.
어떻게 조사했나
어떤 답변을 봤나
BaRam에 등록된 회사 32곳(BaRam 자체 계정 포함)이 고른 질문을 매일 ChatGPT, Gemini, Perplexity에 물어 모은 답변이에요. 세 회사가 개발자에게 제공하는 API로 물었어요. Gemini는 2025년 9월 25일부터, ChatGPT와 Perplexity는 2026년 3월 27일부터 모았어요.
“OO치과 주차 되나요?”처럼 회사 이름이 들어간 질문은 뺐어요. 이런 질문에는 그 회사가 거의 항상 나와서 변동을 볼 수 없기 때문이에요. 남은 답변이 13,412건(ChatGPT 3,918, Gemini 5,856, Perplexity 3,638)이에요. 날짜는 한국 시간으로 나눴어요.
무엇을 쟀나
지표와 계산 방법
| 지표 | 계산 |
|---|---|
| 언급률 | 한 질문을 한 엔진에 물은 날 중 질문한 회사가 답변에 나온 날의 비율. 하루에 여러 번 물었으면 한 번이라도 나온 날로 셌어요 |
| 한 번 확인이 틀릴 확률 | 언급률이 p일 때 min(p, 1-p). 하루만 보고 판단했을 때 기간 전체에서 더 흔한 쪽과 반대로 볼 확률이에요 |
| 다음 측정에서 바뀐 비율 | 사흘 안에 다시 잰 두 날의 언급 여부가 다른 비율 |
| 1주 측정의 오차 | 5일 이상 잰 주의 언급률과 기간 전체 언급률의 차이(절댓값) |
| 필요한 측정 횟수 | 95% 신뢰도로 오차를 ±10%p(또는 ±5%p) 안에 넣는 데 필요한 횟수, 1.96²×p(1-p)/오차² |
| 인용 출처 겹침 | 사흘 안에 다시 잰 두 답변의 인용 사이트(도메인) 중 양쪽 모두에 나온 비율(Jaccard) |
| 첫 번째 회사 유지 | 답변에서 가장 먼저 이름이 나온 회사가 다음 측정에서도 가장 먼저 나온 비율 |
언급 여부를 볼 때는 14일 넘게 잰 질문과 엔진의 조합 119개만 썼어요. 그중 언급률이 0%도 100%도 아닌 50개를 “가끔 나오는 질문”으로 보고 변동을 쟀어요.
이 조사로 알 수 없는 것
- 질문은 회사들이 고른 것이라 한국 사람들이 실제로 묻는 질문 전체를 대표하지 않아요. 병의원과 동물병원 질문이 많아요.
- 앱에서 사람이 직접 물을 때와 API로 물을 때 답이 다를 수 있어요. ChatGPT 앱은 로그인, 기억, 위치에 따라 답이 더 달라져요.
- 기간 중에 회사가 사이트를 고치거나 AI 모델이 바뀌면 언급률이 실제로 달라져요. 이번 수치는 우연한 흔들림과 이런 실제 변화가 섞인 값이에요.
- 회사 이름을 다른 표기로 쓴 답변(영문 이름, 줄임말)은 놓쳤을 수 있어요.
- 가끔 나오는 질문은 50개라 엔진별로는 12~23개예요. 엔진끼리의 차이는 크게 보지 마세요.
인용하기
BaRam 리서치 (2026). AI 답변 변동성 분석: ChatGPT, Gemini, Perplexity에 같은 질문을 매일 물은 답변 1만 3천 건 (BRR-2026-04). https://www.baram.live/research/ai-answer-variance-2026