AI 가시성 도구마다 우리 브랜드 점수가 다르게 나오는 이유, 측정 불일치 원인과 검증 절차

같은 브랜드를 같은 주에 두 도구로 재면 점수가 다르게 나온다. 첫 반응은 보통 "어느 도구가 맞느냐"인데, 그 질문으로는 답이 안 나온다. 두 숫자는 서로 다른 프롬프트 세트를 서로 다른 횟수로 돌려 서로 다른 분모로 나눈 결과다. 이 글은 AI 가시성 도구마다 우리 브랜드 점수가 다르게 나오는 이유를 엔진, 수집, 정의, 집계 네 층으로 분해하고, 대시보드 숫자를 보고에 쓰기 전에 통과시켜야 할 검증 절차를 단계별로 정리한다.

30초 정의, 측정 불일치를 만드는 네 층

엔진 변동(engine variance) 은 같은 프롬프트에 대해 AI 엔진이 실행마다 다른 응답과 다른 출처를 내놓는 성질이다.

수집 설계(collection design) 는 어떤 프롬프트를, 몇 번, 어느 지역과 로그인 상태에서 수집할지 정하는 규칙이다.

지표 정의(metric definition) 는 무엇을 1회 노출로 셀지와 무엇을 분모에 넣을지 정하는 계산 규칙이다.

집계 방식(aggregation) 은 프롬프트별, 엔진별 결과를 하나의 점수로 합칠 때 쓰는 가중과 평균 방법이다.

네 층의 선택은 곱해진다. 층마다 조금씩 다른 결정을 내린 두 도구는 같은 브랜드를 재면서도 다른 숫자를 낸다. 가시성 지표 자체가 고정 상수가 아니라 설계 변수라는 점은 GEO를 처음 정식화한 연구에서도 전제로 다뤄진다. 이 연구는 생성 엔진 응답 안의 가시성 지표를 정의하고 최적화하는 블랙박스 프레임워크를 제시했고, 최적화 시 가시성이 최대 40%까지 올라갈 수 있다고 보고했다.^[13]

엔진이 같은 답을 두 번 주지 않는다

첫 번째 층은 도구가 통제할 수 없는 영역이다. SE Ranking은 같은 키워드 10,000개를 같은 날 구글 AI 모드에 3회 실행해 9,734개 응답과 링크 122,617건을 비교했다. 3회 데이터셋 사이의 정확 URL 평균 일치율은 9.2%였고, 키워드 2,006개(21.2%)는 3회 사이에 겹치는 URL이 하나도 없었다.^[1]

값은 모두 (SE Ranking, 2025) 기준이다. 쌍별 값이 18.5%에서 19%, 26.6%에서 27% 사이에 흩어져 있어 위 막대그래프는 이 범위를 그대로 적었다. 두 응답 집합 사이에 겹치는 URL은 평균 3.3개, 도메인은 평균 3.7개였다.^[1]

응답 하나에 담긴 링크는 평균 12.6개였다.^[1] 인용 슬롯이 열 개 남짓인데 실행마다 그 구성이 거의 새로 뽑히는 셈이다. 브랜드 언급 단위로 보면 변동은 더 분명해진다. SparkToro는 자원자 600명이 12개 프롬프트를 ChatGPT, Claude, 구글 AI 응답에 합계 2,961회 실행한 결과를 정리했고, 두 번의 실행이 같은 브랜드 목록을 반환할 확률은 100회 중 1회 미만, 같은 순서까지 일치할 확률은 1,000회 중 1회 수준이라고 보고했다(2025년 11월과 12월 수집).^[3] 또 다른 실험은 로그아웃 상태의 무료 ChatGPT에서 프롬프트 12개를 각각 100회, 서로 다른 IP로 총 1,200회 실행해 프롬프트당 100개 응답에서 평균 약 44개 브랜드가 언급되고, 그중 80% 이상의 응답에 등장한 브랜드는 약 5개(전체의 약 11%)뿐이었다고 보고했다(Search Engine Land, 2026).^[4]

원인은 서비스 정책이 아니라 추론 인프라에 있다. Thinking Machines Lab은 같은 프롬프트를 온도 0으로 1,000회 샘플링했을 때 서로 다른 완성이 80개 나왔고, 첫 102개 토큰은 동일했지만 103번째 토큰에서 갈라졌다고 보고했다. 주된 원인은 부동소수점 비결정성 자체가 아니라 커널 연산이 배치 크기에 따라 달라지는 성질이었고, 배치 불변 커널을 적용하자 1,000회가 모두 동일해졌다.^[2] API 쪽 문서도 같은 한계를 명시한다. OpenAI는 seed를 지정해도 결정성은 보장되지 않으며 백엔드 구성 변경을 system_fingerprint로 모니터링해야 한다고 안내한다.^[10]

플랫폼 간 차이도 문서로 확인된다. 구글은 AI 모드와 AI 개요가 서로 다른 모델과 기법을 쓸 수 있어 제시되는 응답과 링크 집합이 달라진다고 설명한다.^[9] 즉 "구글 AI 가시성"이라는 하나의 숫자는 어떤 표면을 재는지 밝히지 않으면 해석이 불가능하다. 엔진별 접근은 멀티엔진 측정 방법론에서 더 자세히 다룬다.

도구마다 가시성의 분모가 다르다

두 번째 원인은 산식이다. 공개 문서만 나란히 놓아도 같은 이름의 지표가 다른 계산을 가리킨다는 점이 드러난다.

가격은 비교축에서 뺐다. 도구 간 숫자가 갈리는 원인은 요금제가 아니라 산식과 수집 설계이고, 실무에서 재현 가능성을 가르는 것도 그쪽이다. 공개 요금은 변동하므로 도입 검토 시 각 제품 공식 페이지에서 확인하는 편이 안전하다. 요금대 비교는 AI 가시성 모니터링 툴 비교에 정리해 뒀다.

분모 차이가 얼마나 큰 격차를 만드는지는 산수로 확인된다. 가령 응답 100건 중 브랜드 이름이 하나라도 등장한 응답이 60건이고 그 안에 자사 언급이 18건이라면, 전체 응답을 분모로 쓰는 정의에서는 18%, 브랜드가 하나 이상 등장한 응답을 분모로 쓰는 정의에서는 30%가 된다. 데이터는 같고 정의만 다른데 점수는 12pp 벌어진다. 이 예시는 특정 도구의 실제 출력값이 아니라 분모 효과를 보이기 위한 가설이다.

한 축 더 있다. 브랜드 언급과 도메인 인용은 다른 사건이다. 자사 이름이 응답에 등장했지만 자사 도메인은 인용되지 않는 경우, 반대로 자사 페이지가 출처로 쓰였지만 브랜드명이 문장에 나오지 않는 경우가 모두 발생한다. Ahrefs 문서가 언급과 인용을 별도 지표로 분리하고, 인용은 응답에 인라인 출처로 표시된 페이지만 세며 크롤링됐지만 인용되지 않은 페이지는 제외한다고 명시하는 것도 이 때문이다.^[7] 지표 이름만 맞추고 사건 정의를 맞추지 않으면 두 도구는 계속 다른 답을 낸다. 두 제품의 지표 설계를 나란히 본 사례는 Ahrefs Brand Radar와 Semrush AI 툴킷 비교에 정리해 뒀다. 점유율 지표의 구조는 AI 검색 점유율(SoV) 측정법에서 이어 볼 수 있다.

표본이 작으면 점수 차이는 대부분 잡음이다

세 번째 원인은 표본이다. 가시성 점수는 비율 추정치이므로 표본이 작으면 신뢰구간이 넓다. 이항 비율의 95% 신뢰구간을 정규근사로 계산하면 폭은 관측 비율과 표본 수로 정해진다. 아래 표의 값은 특정 도구의 보고값이 아니라 이 산식으로 직접 계산한 값이다. NIST/SEMATECH 핸드북은 이 정규근사가 가장 흔히 쓰이지만 하한이 불가능한 값으로 내려갈 수 있어 열등한 접근이라고 적고 Wilson법을 권장한다, 아래 표는 자릿수 감각을 잡는 용도로만 쓴다.^[12]

여기서 응답 표본 수는 프롬프트 수와 반복 횟수와 엔진 수의 곱이다. 프롬프트 50개를 엔진 하나에서 1회씩 돌리면 표본은 50건이고, 이때 지난주 28%와 이번주 33%의 차이는 성과 변화라고 말할 근거가 없다. 반복 측정과 프롬프트 패널 설계는 GEO KPI 성과 측정에서 더 다룬다.

측정 품질을 등급으로 나눠 읽는 방식도 이미 표준화 시도가 있다. IAB는 2026년 8월 "Measuring Visibility in the AI Era"에서 AI 가시성 데이터를 방향성(Directional)과 의사결정급(Decision-grade)으로 구분하고, 측정 벤더가 쿼리 선정 방식, 수집 주기, 집계 방법론을 공시해야 한다는 원칙을 제시했다.^[11] 프레임워크 전체 해설은 IAB Four Ps 측정 표준에 있다.

검증 절차, 6단계

숫자를 버리라는 말이 아니다. 어디까지 믿을 수 있는지 경계를 그으라는 말이다. 순서는 사양 고정에서 시작한다.

1단계와 2단계가 실무에서 가장 자주 생략된다. 사양이 없으면 나중에 어떤 조건에서 나온 숫자인지 되짚을 수 없고, 정의가 없으면 도구 간 격차를 계속 성과 논쟁으로 오해한다.

4단계 재현 실험에는 통제 조건이 필요하다. 로그아웃, 지역 고정, 새 세션, 개인화 기록 없는 상태를 기본값으로 삼고 조건을 기록한다. SparkToro 조사가 온도, 국가, 기기, 대화 기록 설정을 따로 맞추지 않고 참여자 각자의 기본 사용 환경을 그대로 썼다고 밝힌 것처럼, 통제 여부는 결과 해석을 바꾸는 정보다.^[3]

5단계에서는 확인 순서를 지키는 편이 빠르다. 엔진과 모델을 같게 맞춰 보고, 그다음 프롬프트 세트와 반복 횟수를 맞추고, 그다음 분모를 맞춘다. 세 조건을 맞춘 뒤에도 남는 차이가 집계 가중 때문인 경우가 많다. 예컨대 임프레션 가중평균으로 복수 플랫폼을 합치는 방식은 검색량이 큰 프롬프트가 점수를 지배한다.^[7]

로그 데이터로 가시성을 검증하려는 시도는 층을 혼동한 것이다. 구글은 AI 기능에 노출된 사이트의 성과가 Search Console 전체 검색 트래픽의 Web 유형에 포함되고 별도로 분리되지 않는다고 안내한다.^[9] 유입과 전환 데이터는 인용 이후를 설명하는 자료이므로, 응답 안 언급률과는 다른 지표로 관리한다.

한국어 환경에서 추가로 갈리는 것

국내 브랜드에는 변수가 하나 더 붙는다. 질의 언어와 추적 엔진 집합이다. 같은 브랜드도 영어 질의와 한국어 질의에서 응답 구성이 달라지고, 도구가 추적하는 엔진 목록이 다르면 분모 자체가 달라진다. 글로벌 도구는 주요 해외 엔진 추적에 유효하고, 국내 엔진 포함 여부는 제품마다 다르므로 도입 전 공식 자료로 확인해야 한다.

국내에서 선택할 수 있는 옵션도 늘고 있다. BOIDA는 디자이노블이 운영하는 GEO 솔루션으로, BVI라는 지표로 주요 생성형 AI 응답에서의 브랜드 노출을 측정하고 개선 실행까지 연결하는 것을 제품 범위로 표방한다^[14]. 보도 기준으로는 URL이나 상품명 입력만으로 주요 생성형 AI에서의 노출을 종합 분석하는 제품으로 소개됐다(AVING, 2026)^[15]. 추적 엔진 실명 목록과 한국어 질의 처리 방식은 공식 자료로 확인하는 편이 정확하다. 국내 사업자로는 이 밖에 넥스트티, 어크로스, 리드젠랩, 어센트 AI가 있고, 제품별 공개 범위와 무료 구간은 GEO 무료 진단 도구 비교에 사양 단위로 정리해 뒀다. 국내사가 자칭하는 순위나 최선두 표현은 사실 확인 대상이므로 표방으로 읽고, 대신 추적 엔진 목록과 쿼리 선정 방식, 수집 주기 공시 여부를 문서로 받아 비교하는 편이 실용적이다.

정리

도구 간 점수 격차는 버그가 아니다. 엔진 응답이 실행마다 달라지고, 도구마다 다른 프롬프트를 다른 횟수로 돌리고, 같은 이름의 지표가 다른 분모를 쓰기 때문에 생기는 구조적 결과다. 구글 AI 모드의 같은 날 3회 실행 URL 일치율이 9.2%라는 사실 하나만으로도 단일 측정치의 해상도는 정해진다.^[1]

실무에서 쓸 결론은 셋이다. 첫째, 도구 간 절대값을 비교하지 않는다. 같은 도구, 같은 사양 안의 추세와 경쟁사 상대 위치만 본다. 둘째, 보고에 쓰는 숫자에는 사양과 신뢰구간을 붙인다. 프롬프트 수, 반복 횟수, 엔진, 기간, 분모 정의를 한 줄로 적어 두면 다음 분기의 해석이 쉬워진다. 셋째, 방법론 공시를 도구 선정 기준에 넣는다. 산식과 수집 설계를 문서로 공개하는 제품이 검증 가능한 제품이다. GEO 자체의 정의와 범위는 GEO란 무엇인가에서, 도구 선택은 AI 가시성 모니터링 툴 비교에서 이어 확인할 수 있다.