WWikiAP
분류: 방법론

ChatGPT에 우리 브랜드가 나오는지 직접 확인하는 법: 몇 번, 어떤 질문으로 봐야 하나

ChatGPT에 직접 물어 브랜드 노출을 확인할 때 쓸 질문 유형 5가지, 반복 횟수별 오차범위, 한 번도 안 나올 확률표, 임시 채팅과 검색 설정, 기록 시트와 7단계 점검 절차를 SparkToro와 Evertune 실험, OpenAI 문서로 정리한다.

Content·AEO 에디터발행

"ChatGPT에 우리 브랜드가 나오는지 직접 질문해서 확인해도 되나?" 마케터가 GEO를 처음 검토할 때 가장 먼저 해 보는 일이 이것이다. 대표가 어젯밤 ChatGPT에 물어봤더니 경쟁사만 나왔다고 캡처를 보내고, 담당자가 다시 물어보니 이번엔 우리 브랜드가 세 번째로 나온다. 둘 중 누가 맞는지 정할 근거가 없다는 점이 문제다. 직접 확인은 해도 된다. 다만 질문 종류와 횟수, 측정 환경을 정해 두지 않으면 캡처 한 장짜리 일화가 된다. 이 글은 어떤 질문을 몇 번, 어떤 설정에서 물어야 판단 근거로 쓸 수 있는지와 그 결과를 기록하는 시트, 7단계 점검 절차를 정리한다.

30초 정의, 수동 점검에 쓰는 다섯 용어

수동 점검(manual check) 은 담당자가 ChatGPT 화면에서 정해 둔 질문을 직접 입력하고 브랜드 등장 여부를 손으로 기록하는 측정 방식이다.

카테고리 질문(non-branded prompt) 은 브랜드명을 넣지 않고 제품군이나 상황을 묻는 질문으로, 실제 고객이 추천을 받을 때 쓰는 형태다.

브랜드 질문(branded prompt) 은 브랜드명을 직접 넣어 묻는 질문으로, 노출 여부가 아니라 설명의 정확성을 확인하는 데 쓴다.

반복 실행(repeated run) 은 같은 질문을 새 대화에서 여러 번 물어 응답마다 달라지는 결과를 평균으로 보는 수집 방식이다.

언급률(mention rate) 은 전체 응답 중 브랜드가 한 번 이상 등장한 응답의 비율로, 수동 점검에서 가장 먼저 계산할 지표다.

SEOcrawl은 AI 답변 노출을 프롬프트 커버리지, 언급률, 인용률, 점유율, GA4의 AI 세션으로 측정한다고 정리했다.[6] 수동 점검으로 현실적으로 계산할 수 있는 것은 이 중 언급률과 인용 출처 정도다.

ChatGPT 브랜드 노출 수동 점검 흐름 1. 환경 고정 비개인화 임시 채팅 검색 설정 기록 위치, 모델 기록 2. 질문 세트 카테고리 질문 위주 10~20개 고정 브랜드 질문은 별도 3. 반복 실행 질문마다 새 대화 질문당 3~5회 같은 날, 같은 조건 4. 기록과 판정 언급률 계산 인용 출처 URL 월 단위 비교 응답 수 = 질문 수 × 반복 횟수 (예: 15개 × 4회 = 60건) 판정 단위는 답변 1개가 아니라 응답 묶음의 언급률이다
ChatGPT 브랜드 노출 수동 점검 4단계. 판단 근거는 반복 실행으로 모은 응답 묶음의 언급률이다.

직접 질문해서 확인해도 되나, 결론부터

된다. 단, 세 가지 조건을 지킬 때만 판단 근거가 된다. 질문은 브랜드명을 뺀 카테고리 질문이 중심이어야 하고, 같은 질문을 여러 번 물어야 하며, 매번 같은 환경에서 물어야 한다.

이유는 ChatGPT 답변이 매번 달라지기 때문이다. SparkToro가 2026년 1월 공개한 실험에서 자원자 600명이 프롬프트 12개를 ChatGPT, Claude, Google AI에 합계 2,961회 실행했다. ChatGPT나 Google AI에 100번 물었을 때 두 응답이 같은 브랜드 목록을 내놓을 확률은 1% 미만이었고, 순서까지 같은 경우는 1,000회에 1번 미만이었다.[1] 대표의 캡처와 담당자의 캡처가 다른 것은 둘 중 하나가 틀려서가 아니다. 둘 다 같은 분포에서 뽑힌 표본 1개씩이다.

반대로 반복해서 모으면 숫자가 안정된다. 같은 실험에서 미국 서부의 암 치료 병원을 물은 질문에 City of Hope는 ChatGPT 응답 71건 중 69건(97%)에 등장했지만, 첫 번째로 언급된 응답은 25건이었다.[1] 순위는 매번 바뀌어도 등장 비율은 반복하면 읽을 수 있다는 뜻이다. 그래서 수동 점검의 기록 단위는 "몇 위였나"가 아니라 "몇 번 중 몇 번 나왔나"다. 응답이 왜 매번 바뀌는지는 AI 브랜드 추천이 매번 바뀌는 이유에서 다섯 가지 원인으로 나눠 설명했다.

어떤 질문으로 봐야 하나, 질문 유형 5가지

질문 유형마다 알 수 있는 것이 다르다. 노출 여부는 카테고리 질문과 상황 질문으로 보고, 브랜드 질문은 설명이 맞는지 볼 때만 쓴다.

질문 유형예시알 수 있는 것알 수 없는 것세트 내 권장 비중
카테고리 추천 질문"30대 직장인 출근용 가죽 토트백 브랜드 추천해줘"추천 후보에 드는지, 함께 나오는 경쟁사브랜드 설명의 정확성40~50%
상황, 문제 질문"발볼 넓은 사람한테 맞는 러닝화 뭐 사야 해?"고객 언어로 물었을 때 등장 여부브랜드명 검색 시 인지30~40%
비교 질문"A사랑 B사 중 소규모 쇼핑몰에 맞는 곳은?"경쟁사 옆에서 어떻게 묘사되는지비교 대상을 모를 때의 노출10~20%
브랜드 질문"OO는 어떤 회사야? 주력 제품은?"설립, 제품, 가격대 설명의 오류실제 추천 노출별도 세트
출처 확인 질문검색을 켠 상태의 카테고리 질문답변이 인용한 페이지와 도메인검색 없이 답할 때의 결과카테고리 질문과 겸용

위 비중은 외부 조사값이 아니라 이 글이 제안하는 출발점이다. 업종과 목적에 따라 조정한다.

인터메이저 뉴스레터 INTER.R은 브랜드명 검색보다 "20대 여성 선물 추천" 같은 고객의 질문 의도에서 노출되는 것이 GEO의 핵심 기회라고 설명한다.[5] 수동 점검 질문도 같은 기준으로 고른다. Evertune은 브랜드명을 넣거나 가격 조건을 섞은 유도형 프롬프트가 결과를 왜곡할 수 있으니 질문을 좁고 일관되게 쓰라고 권했다.[2]

나쁜 예와 좋은 예를 나란히 보면 차이가 분명하다.

  • 나쁜 예: "OO 브랜드 좋아?" → 브랜드명이 들어가 있어 ChatGPT는 거의 항상 OO를 언급한다. 노출 점검으로는 의미가 없다.
  • 좋은 예: "출퇴근용으로 가볍고 노트북 들어가는 가방 브랜드 3곳만 추천해줘" → 실제 고객이 쓰는 조건과 형태다.
  • 나쁜 예: "OO, 경쟁사 A, 경쟁사 B 중 최고는?" → 비교 대상을 정해 줬으므로 OO가 후보에 드는지 알 수 없다.
  • 좋은 예: 비교 질문은 세트의 10~20%로 제한하고, 노출 판정은 카테고리 질문 결과로만 한다.

사람마다 질문을 쓰는 방식도 크게 다르다. SparkToro가 같은 목적(여행이 잦은 가족에게 줄 헤드폰)으로 사람들에게 직접 프롬프트를 쓰게 했더니 142개 프롬프트의 평균 의미 유사도는 0.081이었다.[1] 그런데도 이 프롬프트들을 반복 실행한 994개 응답에서 Bose, Sony, Sennheiser, Apple은 5577% 비율로 등장했다.[1] 질문 한 줄의 문구보다 질문 의도를 여러 표현으로 덮는 쪽이 중요하다는 근거다. 같은 의도를 23가지 표현으로 바꿔 세트에 넣는다.

몇 번 물어봐야 하나, 반복 횟수별 오차

질문 하나를 몇 번 물어야 믿을 만한지는 Evertune이 공개한 분석이 기준이 된다. ChatGPT에 SUV 추천 프롬프트를 반복 실행해 Acura의 언급률을 본 결과, 반복 5회에서 언급률은 약 10%였지만 오차범위가 27pp여서 실제 값은 0%에서 37% 사이 어디든 될 수 있었다.[2] 오차범위는 12회에서 12pp, 100회에서 약 6pp로 줄었고, 100회 이후에는 줄어드는 폭이 작았다.[2]

같은 프롬프트 반복 횟수별 언급률 오차범위 5회 27pp 12회 12pp 100회 6pp 출처: (Evertune, 2026)
같은 프롬프트 반복 횟수별 언급률 오차범위, 출처: (Evertune, 2026)
항목값(pp)출처
5회27pp(Evertune, 2026)
12회12pp(Evertune, 2026)
100회6pp(Evertune, 2026)

SparkToro는 AI의 추천 목록을 제대로 알고 싶다면 보통 최소 60~100회 반복해 평균을 내야 한다고 적었다.[1] 손으로 질문 하나를 100번 묻는 것은 현실적이지 않다. 그래서 수동 점검은 목표를 낮춘다. 언급률을 소수점까지 재는 대신, "거의 안 나온다"와 "자주 나온다"를 구분하는 것까지를 목표로 잡는다.

이 구분에 몇 번이 필요한지는 "한 번도 안 나올 확률"로 계산할 수 있다. 실제 언급률이 p인 브랜드를 n번 물어 한 번도 안 나올 확률은 (1-p)의 n제곱이다. 아래 표는 응답이 서로 독립이라고 가정한 이항분포 계산값이다. 실제 반복 응답은 서로 닮은 경향이 있어 값이 이보다 커질 수 있다.

실제 언급률1회3회5회10회20회30회
10%90.0%72.9%59.0%34.9%12.2%4.2%
30%70.0%34.3%16.8%2.8%0.1%0.0%
50%50.0%12.5%3.1%0.1%0.0%0.0%

언급률 30%인 브랜드도 한 번만 물으면 70% 확률로 안 나온다. 5번 물으면 그 확률이 16.8%로, 10번이면 2.8%로 내려간다. 언급률 10%인 브랜드는 30번을 물어도 4.2% 확률로 한 번도 안 나온다. 그래서 응답 30건에 언급 0건이 나와도 결론은 "언급률 0%"가 아니라 "언급률이 대략 11% 아래일 가능성이 높다"다(Wilson 95% 신뢰구간 상한 11.4%, 직접 계산). 신뢰구간 계산과 기간 비교에 필요한 응답 수는 AI 가시성 점수 표본 크기 기준에 자세히 정리했다.

수동 점검의 규모는 이 계산에서 정한다.

점검 단계질문 수질문당 반복응답 수이 규모로 할 수 있는 판단할 수 없는 판단
첫 진단10개3회30건주요 질문에서 거의 안 나오는지 여부경쟁사와의 차이, 월간 변화
월간 수동 점검15~20개3~5회45~100건질문 유형별 강약, 자주 함께 나오는 경쟁사5pp 수준의 변화 판정
도구 기반 측정수십~수백 개반복 자동화수백~수천 건경쟁사 대비 점유율, 기간별 변화엔진별로 따로 보지 않으면 합산 착시

위 질문 수와 반복 횟수도 외부 기준이 아니라, 앞의 확률표를 바탕으로 이 글이 제안하는 출발점이다.

어떤 환경에서 물어야 하나, 개인화와 검색 설정

질문과 횟수를 맞춰도 환경이 매번 다르면 비교가 안 된다. 수동 점검에서 통제할 변수는 네 가지다.

개인화. OpenAI 도움말에 따르면 임시 채팅은 첫 메시지를 보내기 전에 개인화(Personalized)와 비개인화(Unpersonalized) 중 하나를 고르고, 비개인화는 메모리, 맞춤 지침, 플러그인을 쓰지 않는다.[3] 두 모드 모두 임시 상태에서는 메모리를 새로 만들거나 갱신하지 않고, 대화가 시작된 뒤에는 개인화 설정을 바꿀 수 없다.[3] 브랜드 점검은 비개인화 임시 채팅에서 한다. 담당자 계정에 "우리 회사는 OO다" 같은 메모리가 있으면 답변이 그쪽으로 기운다.

검색 사용 여부. ChatGPT는 최신 정보가 도움이 되는 질문에서 자동으로 웹을 검색할 수 있고, 사용자가 도구 메뉴에서 Search를 골라 검색을 직접 켤 수도 있다.[4] 검색을 쓴 응답에는 인용이 붙고, Sources를 누르면 인용된 출처와 관련 링크를 볼 수 있다.[4] 같은 질문도 검색을 쓴 응답과 안 쓴 응답은 근거가 다르므로, 시트에 검색 사용 여부를 따로 적는다.

위치. OpenAI는 ChatGPT가 IP 주소로 대략적 위치를 파악해 검색 제공자와 공유할 수 있고, 메모리가 켜져 있으면 저장된 메모리를 써서 검색 쿼리를 다시 쓸 수 있다고 설명한다.[4] 한국 시장 브랜드라면 한국에서 한국어로 묻고, VPN을 쓴 회차는 따로 표시한다.

로그인 상태와 모델. OpenAI 도움말은 로그인하지 않은 사용자도 웹 검색을 쓸 수 있다고 적고 있다.[4] 로그인 여부와 플랜, 사용한 모델 이름은 회차마다 달라질 수 있으니 매번 기록한다.

흔한 실수 네 가지

첫째, 같은 대화창에서 연달아 묻는다. 앞 질문과 답이 다음 답변의 맥락이 된다. 반복할 때마다 새 임시 채팅을 연다.

둘째, 우리 브랜드가 나온 캡처만 공유한다. 5번 중 1번 나온 결과를 1장으로 보고하면 언급률 20%가 100%처럼 읽힌다. 언급 0건인 회차까지 시트에 모두 남긴다.

셋째, 순위를 지표로 쓴다. 같은 순서의 목록이 나올 확률이 1,000회에 1번 미만이라는 결과를 보면 순위 한 번은 우연에 가깝다.[1] 등장 여부를 세고, 순서는 참고 칸에만 적는다.

넷째, 브랜드 질문 결과로 노출을 판단한다. "OO 알아?"에 ChatGPT가 잘 설명했다고 해서 카테고리 질문에서 추천된다는 뜻은 아니다. 브랜드 질문에서 설명이 틀렸다면 그건 노출 문제가 아니라 정보 오류 문제이고, 대응 방법은 AI 답변 속 잘못된 브랜드 정보 바로잡기에서 다룬다.

수동 점검 7단계와 기록 시트

단계할 일기준산출물
1. 질문 세트 작성고객이 실제로 쓸 카테고리, 상황 질문을 작성1020개, 같은 의도를 23가지 표현으로질문 ID 목록
2. 브랜드 질문 분리회사 소개, 제품, 가격대 질문을 별도 세트로5개 안팎정확성 점검 목록
3. 환경 고정비개인화 임시 채팅, 검색 사용 여부, 위치, 모델매 회차 동일환경 기록 칸
4. 반복 실행질문마다 새 대화에서 반복질문당 3~5회, 같은 날원문 응답 저장
5. 기록언급 여부, 순서, 함께 나온 경쟁사, 인용 URL0건 회차 포함 전부기록 시트
6. 집계질문 유형별, 전체 언급률 계산응답 수를 함께 표기"60건 중 12건, 20%" 형식
7. 월간 비교같은 세트와 환경으로 다음 달 재실행질문 10% 이상 교체 시 새 기준선월별 추이 표

기록 시트는 아래 열만 있으면 된다. 표 안의 값은 형식을 보여 주기 위한 가상의 예시다.

날짜질문 ID회차환경브랜드 언급언급 순서함께 나온 경쟁사인용 URL설명 오류
예: 11-09C031비개인화, 검색 켬, 서울있음3A사, B사자사 블로그 1건없음
예: 11-09C032비개인화, 검색 켬, 서울없음없음A사, C사없음해당 없음

인용 URL 칸이 중요하다. 우리 브랜드가 안 나온 회차에 경쟁사가 어느 페이지를 근거로 추천됐는지 보면 무엇을 만들어야 할지가 나온다. 경쟁사만 나오는 원인 진단은 AI 검색에 경쟁사만 나오는 이유에 정리했고, ChatGPT 노출 개선 방법은 ChatGPT에 내 브랜드를 노출시키는 법에 있다.

수동 점검의 한계, 도구로 넘어갈 시점

수동 점검은 ChatGPT 한 엔진, 응답 100건 안팎이 한계다. 언급률 30%에서 35%로의 5pp 변화를 유의수준 5%, 검정력 80%로 구분하려면 기간마다 독립 응답 약 1,377건이 필요하다(두 비율 비교 산식으로 계산, 자세한 과정은 AI 가시성 점수 표본 크기 기준 참고). 손으로 처리할 규모가 아니다. Gemini, Perplexity, 국내 엔진까지 보려면 같은 작업이 엔진 수만큼 늘어난다.

국내에서는 수동 진단을 대행하는 상품도 있다. 크몽에 올라온 한 GPT 검색 노출 진단 상품은 기본 상품에서 브랜드명과 핵심 키워드 최대 3개 이내를 기준으로 진단하고, 경쟁사 비교는 별도 문의로 안내한다.[7] 첫 진단으로는 쓸 수 있지만, 이 글의 기준으로 보면 키워드 3개 안팎의 점검은 "거의 안 나오는지"를 확인하는 수준이다. 인터메이저는 무료 셀프 진단 도구 AI Score를 안내하고 있다.[5]

반복과 집계를 자동화한 모니터링 도구로는 해외의 Profound, Peec AI, Otterly.ai와 한국어와 국내 엔진 대응을 표방하는 BOIDA 등이 있다. 도구를 고를 때는 질문마다 반복 실행하는지, 결과를 응답 수와 함께 비율로 보여 주는지, 측정 환경을 공개하는지를 확인한다. 무료로 먼저 써 볼 수 있는 도구는 국내 무료 AI 가시성 진단 도구 비교에, 측정 지표 설계는 GEO 성과 측정과 프롬프트 모니터링에 정리했다. GEO 전반의 개념은 GEO란 무엇인가에서 시작하면 된다.

정리

  • ChatGPT에 직접 물어보는 확인은 해도 된다. 질문 1개를 1번 묻고 내린 결론만 쓰지 않으면 된다.
  • 노출 판정은 브랜드명을 뺀 카테고리, 상황 질문으로 하고, 브랜드 질문은 설명의 정확성 점검에만 쓴다.
  • 같은 프롬프트의 오차범위는 5회 27pp, 100회 약 6pp였다(Evertune, 2026). 수동 점검은 질문 1020개, 질문당 35회로 "거의 안 나옴"과 "자주 나옴"을 구분하는 데까지를 목표로 한다.
  • 비개인화 임시 채팅에서 매번 새 대화로 묻고, 검색 사용 여부, 위치, 모델을 기록한다(OpenAI 도움말, 2026 조회).
  • 기록 단위는 순위가 아니라 "몇 건 중 몇 건"이고, 경쟁사가 인용된 URL이 다음 할 일을 알려 준다.

관련 회사

자주 묻는 질문

Q.ChatGPT에 우리 브랜드를 한 번 물어봤는데 안 나왔습니다. 노출이 안 되는 건가요?
한 번의 결과로는 판단할 수 없습니다. 같은 질문에도 ChatGPT가 같은 브랜드 목록을 두 번 내놓을 확률은 1% 미만이었습니다(SparkToro, 2026). 실제 언급률이 30%인 브랜드도 한 번 물으면 70% 확률로 안 나옵니다(이항분포 계산, 응답 독립 가정). 같은 질문을 최소 3~5회, 서로 다른 질문 10개 이상으로 확인한 뒤 판단합니다.
Q.같은 질문은 몇 번 물어봐야 하나요?
용도에 따라 다릅니다. 첫 진단은 질문당 3~5회로 '거의 안 나옴'과 '자주 나옴'을 구분하는 수준이면 충분합니다. 질문 하나의 언급률을 수치로 말하려면 훨씬 많이 필요합니다. Evertune 분석에서 오차범위는 5회 27pp, 12회 12pp, 100회 약 6pp였고(Evertune, 2026), SparkToro는 보통 최소 60~100회 반복해 평균을 내라고 권했습니다(SparkToro, 2026).
Q.'우리 브랜드 알아?'라고 물어보는 건 의미가 없나요?
노출 확인용으로는 의미가 작고, 정확성 확인용으로는 필요합니다. 브랜드명을 넣으면 ChatGPT는 그 브랜드를 답에 포함할 수밖에 없으므로 실제 사용자가 카테고리 질문을 할 때 추천되는지는 알 수 없습니다. Evertune도 브랜드명을 넣은 유도형 프롬프트가 결과를 왜곡할 수 있다고 적었습니다(Evertune, 2026). 대신 설립 연도, 제품, 가격대 설명이 틀리지 않았는지 점검하는 데 씁니다.
Q.내 계정으로 확인하면 왜 결과가 다른 사람과 다른가요?
메모리와 대화 이력, 위치가 답변에 반영될 수 있기 때문입니다. OpenAI는 메모리가 켜져 있으면 ChatGPT가 검색 쿼리를 다시 쓸 때 저장된 메모리를 쓸 수 있고, IP 기반 대략적 위치를 검색 제공자와 공유할 수 있다고 설명합니다(OpenAI 도움말, 2026 조회). 비개인화 임시 채팅을 쓰고 위치를 기록해야 회차 간 비교가 가능합니다.
Q.수동 점검과 유료 AI 가시성 도구는 언제 바꿔야 하나요?
월간 응답 수가 수백 건을 넘거나 경쟁사 대비 점유율과 기간별 변화를 보고해야 할 때입니다. 언급률 30%에서 35%로의 5pp 변화를 유의수준 5%, 검정력 80%로 구분하려면 기간마다 독립 응답 약 1,377건이 필요하므로(두 비율 비교 산식으로 계산) 손으로 처리하기 어렵습니다. 그 전까지는 이 글의 기록 시트로 월 1회 수동 점검을 해도 방향은 확인할 수 있습니다.

출처 및 참고 자료

  1. [1] ↑AIs are highly inconsistent when recommending brands or products — SparkToro
  2. [2] ↑How many repetitions of a single prompt does it take to understand your AI visibility? — Evertune
  3. [3] ↑Temporary chat in ChatGPT — OpenAI Help Center
  4. [4] ↑Searching the web with ChatGPT — OpenAI Help Center
  5. [5] ↑구독자님의 브랜드, 구글에서는 상위인데 왜 ChatGPT에는 안 나오는지 궁금하셨나요? — INTER.R(인터메이저 뉴스레터)
  6. [6] ↑SEO vs AEO vs GEO: 차이점, 비교표, 데이터 총정리(2026) — SEOcrawl
  7. [7] ↑내 브랜드가 GPT 검색에 노출 되는지 진단해드립니다 — 크몽

이 문서는 2026년 11월 09일에 마지막으로 편집되었습니다. WikiAP의 콘텐츠는 공개된 출처를 근거로 작성되며, 정확성을 위해 지속적으로 갱신됩니다.