WWikiAP
분류: 방법론

AI 가시성 점수, 프롬프트 몇 개로 몇 번 재야 믿을 수 있나: 표본 크기와 반복 측정 기준

AI 가시성 점수를 믿으려면 프롬프트 몇 개를 몇 번 반복해야 하는지 응답 수별 신뢰구간 표, 두 기간 비교에 필요한 응답 수, 반복 응답의 설계효과, SparkToro와 Evertune 등 공개 실험 결과, 5단계 표본 설계 절차로 정리한다.

Technical GEO 에디터발행 최종 수정

"AI 가시성 점수, 프롬프트 몇 개로 재야 믿을 수 있나"는 측정 도구를 처음 도입한 팀이 두 번째 달에 꼭 묻는 질문이다. 첫 달 32%가 다음 달 27%로 내려가면 보고서를 써야 하는데, 그 5pp가 실제 변화인지 표본 오차인지 판단할 근거가 없다. 답은 응답 수에 있다. 가시성 점수는 응답 중 브랜드가 등장한 비율이고, 비율의 정밀도는 응답 수와 응답끼리의 독립성으로 정해진다. 이 글은 목표 정밀도에서 필요한 프롬프트 수와 반복 횟수를 역산하는 방법, 반복 응답이 정밀도에 덜 기여하는 이유, 공개된 반복 실험 결과, 그리고 측정 설계를 문서로 고정하는 5단계 절차를 다룬다.

30초 정의, 표본 설계에 쓰는 다섯 용어

응답 표본 수(n) 는 가시성 점수 계산에 들어간 AI 응답의 총 건수로, 프롬프트 수와 반복 횟수와 엔진 수의 곱이다.

반복 측정(repeated runs) 은 같은 프롬프트를 같은 엔진에 여러 번 실행해 응답 변동을 평균으로 줄이는 수집 방식이다.

신뢰구간(confidence interval) 은 관측 언급률 주변에서 실제 언급률이 들어 있을 것으로 보는 범위로, 응답 수가 늘수록 좁아진다.

설계효과(design effect) 는 반복 응답처럼 서로 상관된 표본의 분산이 독립 표본 대비 몇 배인지 나타내는 값으로, 1+(m-1)ρ로 계산한다.

유효 표본 수(effective sample size) 는 상관된 응답 n건이 독립 응답 몇 건과 같은 정보량을 갖는지 나타내는 값으로, n을 설계효과로 나눠 구한다.

다섯 용어는 한 줄로 이어진다. 프롬프트와 반복과 엔진을 곱해 응답 수를 만들고, 반복 때문에 생기는 상관을 설계효과로 빼서 유효 표본을 구하고, 그 유효 표본으로 신뢰구간 폭을 계산한다. Wikipedia 'Design effect' 항목에 따르면 설계효과와 유효 표본 개념은 Leslie Kish가 1965년 저서 Survey Sampling에서 정의했다.[7]

AI 가시성 점수의 표본 설계 흐름 프롬프트 수 P 서로 다른 질문의 개수 반복 횟수 R 같은 질문을 다시 실행한 횟수 엔진 수 E 엔진별로 따로 보고 응답 표본 수 n = P x R x E 설계효과 1 + (R - 1) x ρ 유효 표본 수 = n / 설계효과 신뢰구간 폭이 판정하려는 격차보다 좁은가
AI 가시성 점수의 표본 설계 흐름. 응답 수가 아니라 유효 표본 수가 신뢰구간 폭을 정한다. ρ는 같은 프롬프트 안 응답끼리의 급내상관이다.

응답 몇 건이면 몇 pp까지 믿을 수 있나

가시성 점수는 이항 비율이다. 응답 n건 중 브랜드가 등장한 응답의 비율을 p라고 하면, 95% 신뢰구간 반폭은 정규근사로 1.96×√(p(1-p)/n)이다. NIST/SEMATECH 핸드북은 이 정규근사가 표본이 작거나 비율이 0이나 1에 가까울 때 부정확할 수 있다고 적고, 거의 모든 n과 p 조합에 Wilson법을 권장한다.[5] 아래 차트와 표는 독립 응답을 가정한 정규근사 값으로, 자릿수 감각을 잡는 용도다.

관측 언급률 30%일 때 응답 수별 95% 신뢰구간 반폭 응답 30건 16.4pp 응답 50건 12.7pp 응답 100건 9pp 응답 300건 5.2pp 응답 1000건 2.8pp 출처: (NIST/SEMATECH e-Handbook 7.2.4.1 정규근사 산식 적용, 2026 조회)
관측 언급률 30%일 때 응답 수별 95% 신뢰구간 반폭, 출처: (NIST/SEMATECH e-Handbook 7.2.4.1 정규근사 산식 적용, 2026 조회). 독립 응답 가정이며, 반복 응답이 섞이면 실제 폭은 더 넓다.
응답 표본 수(n)95% 신뢰구간 반폭(정규근사)Wilson 95% 신뢰구간판정 가능한 격차
30약 ±16.4pp약 16.7%~47.9%15pp 이상 격차만
50약 ±12.7pp계산 생략두 자릿수 pp 후반 격차
100약 ±9.0pp약 21.9%~39.6%두 자릿수 pp 격차
300약 ±5.2pp약 25.1%~35.4%한 자릿수 pp 후반 격차
1,000약 ±2.8pp계산 생략수 pp 격차

모든 값은 관측 언급률 30% 기준이며, NIST/SEMATECH 핸드북의 정규근사 산식과 Wilson 산식으로 직접 계산했다.[5] 응답 30건에서 정규근사 구간은 13.6%~46.4%, Wilson 구간은 16.7%~47.9%로 비대칭이 된다. 표본이 작을수록 두 방법의 차이가 커지므로 보고서에는 Wilson 값을 쓰는 편이 안전하다.

목표 정밀도에서 거꾸로 계산하면 필요한 응답 수가 나온다. 최악 조건인 언급률 50%를 넣으면 반폭 10pp에 약 97건, 5pp에 약 385건, 3pp에 약 1,068건이다. cloro가 인용한 Gumshoe의 단일 프롬프트 기준치(±10pp에 97회, ±5pp에 385회)도 같은 산식에서 나온 값이다.[8]

두 기간을 비교하려면 응답이 더 필요하다

한 시점의 점수를 읽는 것과 두 시점의 차이를 판정하는 것은 다른 문제다. 차이를 판정할 때는 양쪽 기간 모두에 표본 오차가 있으므로 필요한 응답 수가 더 커진다. NIST/SEMATECH 핸드북은 비율 검정에 필요한 표본 크기를 유의수준(α)과 검정력(1-β)과 탐지할 차이(δ)로 계산하는 산식을 제시한다.[6]

비교 상황기간당 필요 응답 수(독립 응답 기준)계산 조건
언급률 20% vs 30%(10pp 차이)약 294건양측 α 5%, 검정력 80%
언급률 30% vs 35%(5pp 차이)약 1,377건양측 α 5%, 검정력 80%
단일 시점 반폭 ±5pp(언급률 50% 가정)약 385건95% 신뢰수준
단일 시점 반폭 ±3pp(언급률 50% 가정)약 1,068건95% 신뢰수준

20%와 30%를 구분하는 데 기간당 약 294건이 필요하다는 값은 cloro의 공개 가이드와도 일치한다.[8] 실무에서 자주 보는 5pp 변화는 기간당 독립 응답이 1,000건을 넘어야 판정할 수 있다. 프롬프트 50개를 한 엔진에서 월 1회 돌리는 설계라면 월간 점수의 5pp 움직임은 성과로 보고할 근거가 없다.

같은 프롬프트를 반복하면 정밀도가 덜 오른다

위 표는 응답이 서로 독립이라고 가정한다. AI 가시성 측정에서는 이 가정이 깨진다. 같은 프롬프트를 100번 돌리면 응답은 매번 달라지지만, 그 프롬프트에서 브랜드가 잘 나오는 경향은 100번 내내 유지된다. 통계에서는 이를 군집 표본으로 다루고, 군집 크기가 m이고 군집 안 상관이 ρ일 때 설계효과를 1+(m-1)ρ로 계산한다. 유효 표본 수는 전체 표본을 설계효과로 나눈 값이다.[7]

1,000건 구성(가설 예시)설계효과(ρ=0.3 가정)유효 표본 수언급률 30% 기준 반폭
프롬프트 1,000개 x 1회1.01,000건약 ±2.8pp
프롬프트 500개 x 2회1.3약 769건약 ±3.2pp
프롬프트 100개 x 10회3.7약 270건약 ±5.5pp
프롬프트 20개 x 50회15.7약 64건약 ±11.3pp
프롬프트 10개 x 100회30.7약 33건약 ±15.7pp

ρ=0.3은 산식의 작동을 보이기 위한 가설 값이며 실측치가 아니다. 실제 ρ는 카테고리와 엔진에 따라 다르므로 자사 데이터로 추정해야 한다. 그래도 방향은 분명하다. 총 응답 수가 같을 때 반복을 늘리고 프롬프트를 줄이면 유효 표본이 빠르게 줄어든다. 응답 1,000건이라는 숫자만 보고 ±3pp 정밀도를 기대하면 안 되는 이유다.

반복이 쓸모없다는 뜻은 아니다. 반복은 프롬프트 하나의 언급률을 정확히 알고 싶을 때 필요하다. 반대로 브랜드 전체의 가시성을 알고 싶을 때는 서로 다른 프롬프트 수가 정밀도를 정한다. 프롬프트를 어떻게 고르는지는 프롬프트 볼륨과 검색량의 차이에서 다룬다.

공개된 반복 실험은 무엇을 보여주나

반복 횟수에 대한 공개 실험은 서로 다른 질문에 답한다. 단일 프롬프트 진단 실험과 대규모 포트폴리오 실험을 섞어 읽으면 결론이 엇갈려 보인다.

출처설계핵심 결과읽는 법
SparkToro(2026)자원자 600명, 프롬프트 12개, ChatGPT와 Claude와 구글 AI 응답에 합계 2,961회 실행, 2025년 11~12월 수집ChatGPT와 구글 AI에 100회 물었을 때 같은 브랜드 목록이 나올 확률 1% 미만, 같은 순서는 약 1,000회에 1회순위는 지표로 쓸 수 없고, 반복 평균한 언급률은 쓸 만하다[1]
Evertune(2026)ChatGPT 프롬프트 10,700회 실행, 단일 SUV 프롬프트에서 Acura 언급률 측정언급률 약 10%에서 반복 5회 오차범위 27pp, 100회 약 6pp, 100회 이후 이득 감소단일 프롬프트 진단의 반복 기준[2]
Meikai(2026)미국 영어 프롬프트 500개, 5개 엔진, 10일, 응답 250,000건, 하루 1~10회 실행 비교10일 합산 인용 점유율 20.52%, 하루 1회와 10회의 결과가 실질적으로 같음. P95 오차 1회 0.17pp, 10회 0.05pp대규모 포트폴리오는 프롬프트 수가 정밀도를 정한다[3]
Citation Labs(2026)B2B 기업 1곳, 구매 의도 프롬프트 4,579개, 4개 엔진, 12주간 4회 실행순서와 인용 URL은 실행마다 바뀌었지만 등장률은 프로젝트 안에서 안정. 엔진별 언급률 Google AI Overviews 25.33%, Google AI Mode 83.16%엔진별로 따로 보고해야 한다[4]

SparkToro는 이 조사에서 프롬프트를 보통 최소 60~100회 반복해 평균을 내야 한다고 적었고, 수십에서 수백 개 프롬프트를 여러 번 실행한 가시성 비율은 합리적인 지표라고 평가했다. 동시에 AI 안의 순위 위치를 보고하는 도구는 신뢰하기 어렵다고 썼다.[1] Evertune의 결과는 반복 5회에서 0%~37% 범위가 모두 가능하다는 뜻이다.[2] 반복 5회짜리 단일 프롬프트 점수로는 경쟁사와의 차이를 말할 수 없다.

Meikai 실험에는 예외가 하나 있었다. Copilot의 인용 점유율 오차는 하루 1회 실행에서 1.33pp, 10회에서 0.49pp였고, 1pp 아래로 처음 내려간 정책은 하루 3회였다. 저자는 결과가 이 500개 프롬프트 포트폴리오와 10일 기간에 한정되며, 더 작은 포트폴리오나 단일 프롬프트 진단, 일중 측정에는 더 많은 반복이 필요할 수 있다고 적었다.[3] Citation Labs는 프롬프트의 10% 이상이 바뀌면 새 코호트로 취급하라는 운영 규칙도 제시했다.[4] 엔진별 수집 방식은 멀티엔진 측정 방법론에 정리해 뒀다.

원인, 영향, 행동으로 다시 정리하면

원인. AI 응답은 실행마다 달라지고, 가시성 점수는 그 응답들의 비율이다. 표본이 작으면 측정값이 실제 언급률에서 크게 벗어난다.

영향. 응답 100건 미만의 점수로 월간 증감을 보고하면 표본 오차를 성과 변화로 오인한다. 반복 위주로 구성한 표본은 응답 수에 비해 정밀도가 낮다. 도구마다 점수가 다른 문제와 겹치면 해석이 더 어려워지는데, 이 부분은 AI 가시성 도구마다 점수가 다른 이유에서 다뤘다.

행동. 목표 정밀도를 먼저 정하고, 필요한 유효 표본을 역산하고, 프롬프트 수와 반복 횟수를 그 안에서 나눈다. 아래 5단계가 그 절차다.

표본 설계 5단계

단계할 일산출물통과 기준
1. 판정 목표 정의보고에서 구분해야 할 최소 격차를 정한다(예: 경쟁사 대비 10pp, 월간 5pp)목표 격차와 신뢰수준격차가 숫자로 적혀 있는가
2. 필요 응답 수 역산단일 시점은 비율 신뢰구간 산식, 두 시점 비교는 두 비율 검정 산식으로 계산엔진별, 기간별 필요 유효 표본계산 조건(α, 검정력, 기준 언급률)을 함께 기록했는가
3. 프롬프트와 반복 배분서로 다른 프롬프트를 먼저 늘리고, 반복은 단일 프롬프트 진단이나 변동이 큰 엔진에만 추가프롬프트 목록, 반복 정책설계효과를 반영한 유효 표본이 2단계 값을 넘는가
4. 사양 고정엔진과 모델, 지역, 언어, 로그인 상태, 수집 주기, 프롬프트 버전을 문서화측정 사양서프롬프트 변경 비율과 변경 시점이 기록되는가
5. 구간과 함께 보고점수마다 응답 수와 Wilson 95% 구간을 붙이고, 구간이 겹치는 변화는 성과로 보고하지 않음보고 템플릿모든 숫자 옆에 n과 구간이 있는가

1단계가 가장 자주 생략된다. 목표 격차가 없으면 필요한 표본도 정할 수 없고, 결국 도구 기본값이 표본 크기를 정한다. 예컨대 경영진 보고에서 "경쟁사보다 높다"를 말하려면 두 브랜드 점수 차이가 구간 폭보다 커야 한다.

3단계에서는 프롬프트 다양성이 먼저다. 같은 질문을 표현만 바꾼 변형 프롬프트는 서로 상관이 높으므로 사실상 반복과 비슷하게 작동한다. 구매 단계, 페르소나, 비교 축을 나눠 서로 다른 의도를 담는 편이 유효 표본을 늘린다. 프롬프트 패널 구성은 GEO KPI 성과 측정에서 이어 볼 수 있다.

4단계는 추세의 연속성을 지킨다. 모델 교체나 프롬프트 대량 교체 시점에는 추세선을 끊고 주석을 단다. 측정 도구를 쓴다면 Profound, Peec AI, 국내의 BOIDA 등 어떤 제품이든 프롬프트 수, 반복 정책, 엔진 목록, 수집 주기를 문서로 받아 사양서에 옮긴다. 도구별 기능 비교는 AI 가시성 모니터링 툴 비교에 있다.

5단계는 업계 표준 논의와도 맞닿아 있다. IAB는 2026년 8월 공개한 프레임워크에서 AI 가시성 측정을 의사결정급(Decision-grade)과 방향성(Directional)으로 구분하고, 안정성과 재현성, 측정 제공자의 공시 요건을 다뤘다.[9] 응답 수와 구간이 없는 점수는 방향성 자료로 분류해 읽는 편이 맞다. 프레임워크 해설은 IAB Four Ps 측정 표준에 있다.

작은 표본에서 흔한 실수 세 가지

첫째, 언급 0건을 가시성 0%로 보고한다. 응답 12건에서 언급 0건이면 Wilson 95% 구간 상한은 약 24.2%다(NIST/SEMATECH 권장 Wilson법으로 계산).[5] 응답 12건으로는 "AI가 우리 브랜드를 전혀 언급하지 않는다"고 결론 내릴 수 없다.

둘째, 엔진을 합쳐 하나의 점수로 본다. 같은 프롬프트 세트에서도 엔진별 언급률이 25%대와 83%대로 갈린 사례가 있다.[4] 엔진 구성 비율이 바뀌면 합산 점수는 브랜드 성과와 무관하게 움직인다. 엔진별 점유율 산식은 AI 검색 점유율(SoV) 측정법에서 다룬다.

셋째, 순위 평균을 지표로 쓴다. 같은 순서의 목록이 나올 확률이 약 1,000회에 1회라면 평균 순위는 매번 다른 목록에서 뽑은 값이다.[1] 등장 여부를 세는 언급률이 반복 측정에서 더 안정적이다.

정리

AI 가시성 점수를 믿을 수 있는지는 응답 수가 아니라 유효 표본 수로 판단한다. 관측 언급률 30%에서 독립 응답 300건이면 반폭 약 5.2pp, 1,000건이면 약 2.8pp이고, 같은 프롬프트의 반복 응답은 설계효과만큼 정밀도 기여가 줄어든다. 단일 프롬프트를 진단할 때는 60~100회 반복이 공개 실험의 기준선이고, 브랜드 전체를 볼 때는 서로 다른 프롬프트 수를 늘리는 쪽이 먼저다.

보고 규칙은 하나로 줄일 수 있다. 모든 점수 옆에 응답 수와 구간을 적고, 구간이 겹치면 변화로 말하지 않는다. GEO의 정의와 범위는 GEO란 무엇인가에서 확인할 수 있다.

관련 회사

  • 보이다 (BOIDA)생성형 검색 최적화(GEO) 솔루션, AI 가시성 측정
  • Peec AIAI 가시성 모니터링 플랫폼
  • ProfoundAI 가시성 모니터링 플랫폼

자주 묻는 질문

Q.AI 가시성을 재려면 프롬프트가 최소 몇 개 필요한가요?
고정된 최소값은 없고, 목표 정밀도에서 역산합니다. 최악 조건(언급률 50%)에서 95% 신뢰구간 반폭을 10pp로 맞추려면 독립 응답 약 97건, 5pp로 맞추려면 약 385건, 3pp로 맞추려면 약 1,068건이 필요합니다(NIST/SEMATECH 비율 신뢰구간 산식으로 계산). 같은 프롬프트의 반복 응답은 서로 상관되므로 이 숫자는 반복 횟수가 아니라 서로 다른 프롬프트 수에 가깝게 맞추는 편이 안전합니다.
Q.같은 프롬프트는 몇 번 반복해야 하나요?
용도에 따라 다릅니다. 프롬프트 하나의 언급률을 진단할 때는 반복이 필요합니다. SparkToro는 최소 60~100회 반복해 평균을 내라고 권했고(SparkToro, 2026), Evertune 분석에서는 반복 5회의 오차범위가 27pp, 100회는 약 6pp였습니다(Evertune, 2026). 반면 프롬프트 500개 포트폴리오에서는 하루 1회와 10회 실행의 10일 합산 결과가 실질적으로 같았습니다(Meikai, 2026).
Q.응답 1,000건이면 프롬프트 구성과 무관하게 같은 정밀도인가요?
아닙니다. 프롬프트 20개를 50회씩 반복한 1,000건과 프롬프트 1,000개를 1회씩 돌린 1,000건은 정보량이 다릅니다. 같은 프롬프트 안의 응답이 서로 닮은 정도(급내상관 ρ)가 있으면 유효 표본은 전체 응답 수를 설계효과 1+(m-1)ρ로 나눈 값으로 줄어듭니다(Wikipedia 'Design effect', 2026 조회). 가령 ρ가 0.3이면 20개×50회 구성의 유효 표본은 약 64건입니다.
Q.지난달보다 점수가 5pp 올랐는데 개선이라고 볼 수 있나요?
표본 크기를 먼저 확인해야 합니다. 언급률 30%에서 35%로의 변화를 유의수준 5%, 검정력 80%로 구분하려면 기간마다 독립 응답 약 1,377건이 필요합니다(두 비율 비교 산식으로 계산). 기간당 응답이 수백 건이면 5pp 변화는 표본 오차 범위 안에 들어갈 수 있으므로 성과 변화로 보고하지 않는 편이 맞습니다.
Q.언급이 한 번도 없으면 가시성이 0%인가요?
관측값은 0%지만 실제 언급률이 0%라는 뜻은 아닙니다. 응답 12건에서 언급 0건이면 Wilson 95% 신뢰구간 상한은 약 24.2%입니다(NIST/SEMATECH 권장 Wilson법으로 계산). 표본이 작을수록 0건은 근거가 약한 결론이므로 응답 수를 늘린 뒤 판단합니다.
Q.엔진이 여러 개면 응답을 합쳐서 하나의 점수로 봐도 되나요?
합산 전에 엔진별 점수를 따로 봐야 합니다. 같은 클라이언트의 같은 프롬프트 세트에서도 브랜드 언급률이 Google AI Overviews 25.33%, Google AI Mode 83.16%로 엔진마다 크게 달랐습니다(Citation Labs, 2026). 엔진 간 편차가 크면 합산 점수는 엔진 구성 비율에 따라 움직이므로, 엔진별 표본 수와 신뢰구간을 각각 보고합니다.

출처 및 참고 자료

  1. [1] ↑AIs are highly inconsistent when recommending brands or products — SparkToro
  2. [2] ↑How many repetitions of a single prompt does it take to understand your AI visibility? — Evertune
  3. [3] ↑How many times should you run an AI visibility prompt? — Meikai
  4. [4] ↑Yes, AI Rank Is Trackable: Results From 4,579 Buyer Prompts — Citation Labs
  5. [5] ↑7.2.4.1. Confidence intervals (proportion) — NIST/SEMATECH e-Handbook of Statistical Methods
  6. [6] ↑7.2.4.2. Sample sizes required — NIST/SEMATECH e-Handbook of Statistical Methods
  7. [7] ↑Design effect — Wikipedia
  8. [8] ↑AI Visibility Sample Size: How Many Prompts and Runs You Need — cloro
  9. [9] ↑Measuring Visibility in the AI Era — IAB

이 문서는 2026년 11월 09일에 마지막으로 편집되었습니다. WikiAP의 콘텐츠는 공개된 출처를 근거로 작성되며, 정확성을 위해 지속적으로 갱신됩니다.