AI에 같은 질문을 해도 브랜드 추천이 매번 바뀌는 이유: 응답 변동성 5가지 원인과 측정 대응

"AI에 같은 질문을 했는데 어제는 우리 브랜드가 나왔고 오늘은 안 나온다"는 문의는 AI 가시성 점검을 시작한 팀에서 거의 매번 나온다. 담당자는 무언가 잘못됐다고 보고 원인을 찾지만, 대부분은 아무것도 고장 나지 않았다. AI 답변은 매번 새로 생성되고, 생성 과정의 여러 단계가 실행마다 다른 값을 낸다. 이 글은 브랜드 추천이 바뀌는 원인을 다섯 층으로 나누고, 각 층이 얼마나 흔들리는지 공개 실험 수치로 확인한 뒤, 흔들리는 답변 위에서 가시성을 재는 5단계 절차를 정리한다.

30초 정의, 응답 변동성을 설명하는 다섯 용어

응답 변동성(response variability) 은 같은 질문을 같은 AI에 반복했을 때 답변의 내용, 언급 브랜드, 순서가 실행마다 달라지는 현상이다.

샘플링(sampling) 은 모델이 다음 토큰 후보의 확률 분포에서 하나를 무작위로 골라 문장을 이어 가는 생성 방식이다.

temperature 는 샘플링의 무작위성 정도를 조절하는 값으로, 0에 가까울수록 확률이 가장 높은 토큰을 고른다.

추론 비결정성(inference nondeterminism) 은 temperature 0에서도 서버의 연산 조건 차이 때문에 같은 입력이 다른 출력을 내는 현상이다.

쿼리 팬아웃(query fan-out) 은 AI 검색이 사용자 질문을 여러 하위 쿼리로 쪼개 동시에 검색한 뒤 결과를 모아 답하는 방식이다.

다섯 용어는 답변이 만들어지는 순서와 겹친다. 질문 표현과 개인화 맥락이 입력을 바꾸고, 팬아웃 검색이 참고 문서를 바꾸고, 샘플링과 추론 비결정성이 마지막 문장을 바꾼다. 각 층의 작은 차이가 곱해져 최종 브랜드 목록이 달라진다.

근거: 같은 질문의 브랜드 목록은 얼마나 자주 같게 나오나

가장 큰 공개 실험은 SparkToro가 2026년 1월 공개한 연구다. 자원자 600명이 프롬프트 12개를 ChatGPT, Claude, Google AI(AI 개요, 개요가 없으면 AI Mode)에 합계 2,961회 실행했고, 수집 기간은 2025년 11~12월이었다. 결론은 ChatGPT나 Google AI에 100번 물었을 때 두 응답이 같은 브랜드 목록을 내놓을 확률이 1% 미만이고, 순서까지 같은 경우는 약 1,000회에 한 번이라는 것이다.^[1] Claude는 같은 목록을 반복할 가능성이 조금 더 높았다고 연구는 적었다.^[1]

같은 연구에서 목록은 매번 달랐어도 자주 등장하는 브랜드는 안정적으로 자주 등장했다. 사람이 직접 쓴 헤드폰 추천 프롬프트 142개, 응답 994건에서 Bose, Sony, Sennheiser, Apple 같은 상위 브랜드는 응답의 55~77%에 나왔다.^[1] 반대로 순위는 불안정했다. 한 병원은 ChatGPT 응답 71건 중 69건(97%)에 등장했지만 1위로 나온 것은 25건이었다.^[1] 이 결과가 측정 설계의 출발점이다. 목록과 순서는 흔들리지만, 많이 실행했을 때의 등장 비율은 읽을 수 있는 신호를 남긴다.

원인 1~5: 브랜드 추천은 어느 층에서 바뀌나

다섯 원인은 성격이 다르다. 어떤 것은 사용자가 통제할 수 있고, 어떤 것은 엔진 운영사만 바꿀 수 있다. 측정 설계는 통제 가능한 층을 고정하고, 통제 불가능한 층은 반복 실행으로 평균을 내는 방식으로 짠다.

원인 1. 질문 표현은 사람마다 거의 겹치지 않는다

측정 도구가 쓰는 프롬프트 한 줄과 실제 사용자의 질문은 다르다. SparkToro 실험에서 사람이 직접 쓴 헤드폰 추천 프롬프트 142개의 평균 의미 유사도는 0.081이었다.^[1] 같은 목적의 질문이라도 예산, 용도, 비교 대상을 다르게 넣으면 모델이 고려하는 후보 집합이 달라진다. 연구는 실사용 환경의 변동이 통제된 실험보다 클 것이라고 봤다.^[1]

원인 2. 개인화 맥락이 입력을 바꾼다

ChatGPT는 2025년 4월 과거 대화 전체를 참고하는 메모리 업그레이드를 발표했고, 사용자의 선호, 문체, 반복 질문에 맞춰 답을 조정한다. 사용자는 메모리를 끄거나 기존 메모리를 참고하지도, 새로 저장하지도 않는 임시 채팅을 쓸 수 있다.^[6] 마케터 개인 계정으로 자사 브랜드를 반복 검색하면 그 대화 이력이 이후 답변의 맥락이 될 수 있다. 개인 계정에서 본 결과는 다른 사람의 결과를 대표하지 못한다.

원인 3. 팬아웃 검색이 참고 문서를 바꾼다

검색형 답변에서는 이 층이 가장 크게 흔들린다. Google은 AI Mode가 질문을 하위 주제로 쪼개 여러 쿼리를 동시에 실행하는 쿼리 팬아웃 기법을 쓴다고 2025년 5월 밝혔다.^[4] Ahrefs는 이 팬아웃 쿼리가 시뮬레이션되며 실행마다 바뀌고, Google이 각 답변에 쓴 팬아웃 쿼리를 공개하지 않는다고 적었다. 같은 분석에서 AI 개요가 인용한 URL 가운데 원래 검색결과 상위 10개 블록 안에 든 비율은 37.9%로, 2025년 7월 조사의 약 76%보다 낮았다. Ahrefs는 첫 조사 이후 파싱 방식을 개선했다고 함께 밝혔다.^[5] 하위 쿼리가 바뀌면 검색되는 문서가 바뀌고, 문서에 등장하는 브랜드가 바뀐다.

원인 4. 샘플링은 설계상 매번 다른 문장을 만든다

LLM은 다음 토큰의 확률 분포를 계산한 뒤 그 분포에서 하나를 뽑는다. Google Vertex AI 문서는 temperature가 토큰 선택의 무작위성 정도를 조절하고, 높은 값일수록 더 다양한 결과를 낸다고 설명한다.^[3] 브랜드 목록에서 첫 번째 브랜드가 바뀌면 이후 문장 전체가 그 선택을 따라 달라진다. 소비자용 챗봇 앱에서는 사용자가 이 값을 정할 수 없다.

원인 5. temperature 0에서도 출력은 완전히 고정되지 않는다

같은 Vertex AI 문서는 temperature 0이면 확률이 가장 높은 토큰을 항상 고르지만, 응답이 대체로 결정적일 뿐 약간의 변동은 남을 수 있다고 적는다.^[3] Thinking Machines는 2025년 9월 Qwen3-235B 모델에 같은 프롬프트를 temperature 0으로 1,000회 실행해 서로 다른 완성문 80개를 얻었다. 완성문들은 처음 102개 토큰까지 같았고 103번째 토큰에서 갈라졌다. 연구진은 주된 원인을 서버 부하에 따라 바뀌는 배치 크기로 지목했고, 배치 크기와 무관한 커널을 쓰자 1,000개가 모두 같아졌다.^[2] 이 실험은 오픈 모델로 한 것이다. ChatGPT나 Gemini 같은 상용 서비스의 내부 설정에 같은 수치를 대입할 수는 없지만, 사용자가 값을 고정해도 서버 쪽 조건이 출력을 바꿀 수 있다는 점은 확인된다.

실제 변화와 변동을 구분하는 기준

담당자에게 필요한 판단은 "이번 결과가 달라진 게 우연인가, 실제로 무언가 바뀌었나"다. 아래 표는 단일 관찰과 반복 측정을 나눠 그 판단 기준을 정리한 것이다.

같은 프롬프트를 몇 번 반복하느냐에 따라 오차범위가 얼마나 줄어드는지는 Evertune이 공개했다. ChatGPT에 SUV 추천 프롬프트를 반복한 분석에서 반복 5회의 오차범위는 27pp, 12회는 12pp, 100회는 약 6pp였고, 100회를 넘기면 이득이 줄었다.^[7]

5회 반복에서 오차범위 27pp라면, 언급률 10%로 관측된 브랜드의 실제 값이 0%에서 37% 사이 어디든 될 수 있다는 뜻이다.^[7] 수동으로 몇 번 물어보고 내린 판단은 이 범위 안에서 움직인다.

대응: 흔들리는 답변 위에서 가시성을 재는 5단계

1단계, 프롬프트 세트 설계. 실사용자 질문은 서로 거의 겹치지 않으므로^[1] 한 문장으로 된 대표 프롬프트 하나에 기대지 않는다. "30대 남성 출근용 운동화 추천", "발 편한 출근 운동화 브랜드", "10만 원대 출근 운동화 비교"처럼 같은 의도를 다른 조건으로 쓴 프롬프트를 묶는다. 의도 단위로 결과를 묶으면 특정 표현에서만 생긴 차이가 걸러진다.

2단계, 측정 환경 통제. 개인 계정의 메모리와 대화 이력이 결과에 섞이지 않게 메모리를 끄거나 임시 채팅을 쓴다.^[6] 위치, 언어, 로그인 상태도 기록해 다음 측정에서 같은 조건을 재현한다.

3단계, 반복 실행. 프롬프트 하나를 진단할 때는 반복이 필요하다. SparkToro는 프롬프트마다 60~100회 실행해 평균을 내라고 권했다.^[1] 전체 가시성을 볼 때는 같은 프롬프트를 많이 반복하기보다 서로 다른 프롬프트 수를 늘리는 편이 실사용 분포에 가깝다. 반복 횟수와 프롬프트 수의 배분은 AI 가시성 측정 도구별 수치 차이와 GEO 성과 측정과 프롬프트 모니터링에서 이어서 다룬다.

4단계, 비율로 집계. 같은 순서가 약 1,000회에 한 번 나오는 환경에서^[1] 단일 순위는 보고 지표가 되지 못한다. 브랜드 등장 비율과 출처 인용 빈도를 엔진별로 따로 집계하고, 경쟁사와의 상대 비율은 AI 검색 점유율(SOV) 방식으로 계산한다. 엔진마다 검색 방식이 다르므로 합산 전에 멀티 엔진 측정 기준으로 엔진별 값을 먼저 본다.

5단계, 기간 비교. 이전 측정과 같은 프롬프트 세트, 같은 환경, 같은 반복 횟수로 다시 잰다. 두 기간의 차이가 오차범위 안이면 변화로 보고하지 않는다.

이 절차를 수작업으로 돌리기 어렵다면 반복 실행과 집계를 자동화한 AI 가시성 모니터링 도구를 쓴다. 해외에서는 Profound, Peec AI, Otterly.ai가, 국내에서는 한국어와 국내 엔진 대응을 내세운 BOIDA 등이 있다. 도구를 고를 때는 프롬프트마다 몇 번 실행하는지, 결과를 비율과 오차범위로 보여 주는지, 측정 환경을 공개하는지를 확인한다. SparkToro도 도구 비용을 쓰기 전에 검토 가능한 통계 방법을 요구하라고 권했다.^[1]

변동을 줄이는 쪽이 아니라 등장 확률을 올리는 쪽으로

샘플링과 추론 비결정성은 브랜드가 바꿀 수 없다. 바꿀 수 있는 것은 브랜드가 후보 목록에 들어갈 확률이다. 팬아웃 검색은 질문을 하위 쿼리로 쪼개 문서를 모으므로^[4] 용도별, 가격대별, 비교 질문마다 답이 되는 페이지가 있으면 여러 실행에서 반복해 검색될 가능성이 커진다. 상위 브랜드가 응답의 55~77%에 꾸준히 등장한 것도^[1] 그 브랜드가 여러 출처에서 같은 범주의 대표로 반복 언급되기 때문으로 볼 수 있다. AI가 어떤 기준으로 출처를 고르는지는 AI는 어떤 출처를 인용하나와 AI 엔진별 인용 출처 패턴에, 경쟁사만 추천되는 상황의 진단은 AI 검색에 경쟁사만 나오는 이유에 정리돼 있다. GEO 전반의 개념은 GEO란 무엇인가에서 시작하면 된다.

정리

• AI 브랜드 추천은 질문 표현, 개인화, 팬아웃 검색, 샘플링, 추론 비결정성 다섯 층에서 실행마다 바뀐다.
• 같은 목록이 두 번 나올 확률은 1% 미만, 같은 순서는 약 1,000회에 한 번이었다(SparkToro, 2026).
• temperature 0도 완전한 고정을 보장하지 않는다(Google Cloud, 2026; Thinking Machines, 2025).
• 단일 순위 대신 여러 프롬프트와 반복 실행으로 구한 언급률을 같은 환경에서 기간별로 비교한다.
• 콘텐츠로 바꿀 수 있는 것은 변동 자체가 아니라 하위 질문마다 브랜드가 후보에 오를 확률이다.