GEO A/B 테스트 방법: AI 인용 실험 설계, 대조군 구성과 주지표와 가드레일 판정 기준
GEO A/B 테스트로 AI 인용 변화를 검증하는 실험 설계법을 정리한다. 페이지 분할과 단일 페이지 대조 방식 비교, 주지표와 가드레일 지표, Omio와 OnBoard 공개 사례, 6단계 실행 절차와 FAQ까지 담았다.
"GEO A/B 테스트는 어떻게 설계하나요"라는 질문은 보통 요약 블록이나 FAQ를 붙인 뒤 AI 인용이 늘었는지 확인하려는 팀에서 나온다. 가장 흔한 실수는 변경 전후 한 달을 비교하고 끝내는 것이다. AI 답변은 같은 질문에도 매번 달라지고, 그 기간에 모델 업데이트나 경쟁사 콘텐츠 변화가 겹치면 전후 비교만으로는 원인을 가를 수 없다. 이 글은 대조군을 두는 두 가지 실험 방식, 주지표와 가드레일 지표를 나누는 법, 공개된 세 가지 사례(SearchPilot이 공개한 Omio, Peec AI가 한 글에서 소개한 OnBoard와 Bricx), 그리고 바로 쓸 수 있는 6단계 실행 절차를 정리한다. 측정 지표 자체가 낯설다면 GEO KPI와 프롬프트 모니터링 가이드를 먼저 보면 된다.
30초 정의, GEO 실험에 쓰는 다섯 용어
GEO A/B 테스트는 비슷한 페이지를 대조군과 실험군으로 나눠 실험군에만 변경을 적용하고, AI 인용과 LLM 유입의 차이를 비교하는 실험이다.
대조군(control) 은 실험 기간 동안 아무것도 바꾸지 않아 모델 업데이트와 계절 변화 같은 외부 요인을 걸러 내는 기준 페이지 묶음이다.
주지표(primary metric) 는 실험 시작 전에 하나만 정해 두고 성공과 실패를 판정하는 데 쓰는 지표다.
가드레일 지표(guardrail metric) 는 주지표가 좋아져도 이 값이 나빠지면 배포하지 않도록 정해 둔 보호 지표다.
방향성 지표(directional metric) 는 판정에는 쓰지 않고 변화의 원인을 해석하는 데 참고하는 보조 지표다.
다섯 용어의 관계는 이렇다. 대조군이 외부 요인을 걸러 내고, 주지표가 판정을 내리고, 가드레일이 부작용을 막고, 방향성 지표가 이유를 설명한다. 리드젠랩은 주지표를 하나로 제한하고 구글 오가닉 세션과 전환율을 가드레일로, Search Console 노출과 ChatGPT 유입과 답변 속 언급을 방향성 지표로 두는 구성을 예시로 제시했다.[1]
GEO 실험 방식 비교: 페이지 분할, 단일 페이지 대조, 전후 비교
GEO 실험은 대조군을 어떻게 두느냐로 나뉜다. 아래 표는 공개 사례에서 확인되는 세 가지 방식과 흔히 쓰지만 권하지 않는 전후 비교를 같은 기준으로 놓았다.
| 방식 | 대조군 구성 | 필요한 페이지 규모 | 주로 보는 지표 | 공개 사례 | 한계 |
|---|---|---|---|---|---|
| 페이지 분할 A/B | 비슷한 페이지 묶음을 통계적으로 비슷한 두 그룹으로 분할 | 같은 템플릿 페이지 다수 | LLM 유입, 구글 오가닉 세션 | Omio(SearchPilot) | 템플릿형 페이지가 적은 사이트는 적용이 어렵다 |
| 단일 페이지 대조 | 실험 페이지 1개와 비슷한 비교 페이지 1개 | 2개 이상 | 인용률, 리트리벌 횟수, 가시성 | OnBoard(Peec AI) | 두 페이지의 출발점이 달라 차이 해석에 주의가 필요하다 |
| 신규 자산 관찰 | 별도 대조군 없이 새 도메인이나 페이지를 추적 | 1개 | 인용 여부, 엔진별 리트리벌 비중 | Bricx(Peec AI) | 인과를 판정할 수 없고 가설 탐색용에 가깝다 |
| 전후 비교 | 대조군 없음, 변경 전 기간이 기준 | 1개 이상 | 모든 지표 | 권장하지 않음 | 모델 업데이트와 계절 요인을 변경 효과와 구분할 수 없다 |
페이지가 많은 커머스, 여행, 부동산 사이트라면 페이지 분할이 맞다. SearchPilot의 페이지 분할 방식은 비슷한 페이지 수천 개를 통계적으로 비슷한 대조군과 실험군으로 나누고, 실험군에만 GEO 가설을 적용한 뒤 ChatGPT 같은 LLM 기반 유입과 오가닉 검색 유입을 함께 측정한다. Omio 실험도 이 방식을 썼고, 실험에 쓴 페이지 수는 공개하지 않았다.[3] B2B SaaS처럼 핵심 페이지가 몇 개뿐인 사이트는 단일 페이지 대조가 현실적이다.
근거: 공개된 GEO 실험 사례 세 가지
Omio, 페이지 분할 실험(SearchPilot, n.d.). 첫 번째 실험은 페이지마다 브랜드 차별점(USP) 모듈을 넣은 것이다. LLM 세션이 18% 늘었고 구글 오가닉은 결론이 나지 않아 관련 페이지 전체에 배포했다.[3] 두 번째 실험은 HTML의 기존 요약 표 위에 수치와 비교 정보를 담은 불릿 요약을 넣은 것이다. LLM 유입에는 긍정적이었지만 구글 오가닉 세션을 6.5% 줄일 가능성이 확인됐고, 구글 오가닉이 Omio의 가장 큰 유입원이라 배포하지 않고 수정안을 만들기로 했다.[3] 리드젠랩은 이 사례를 두고 AI 유입이 늘어도 구글 유입이 줄 수 있으므로 두 지표를 함께 봐야 한다고 정리했다.[1]
OnBoard, 단일 페이지 대조 실험(Peec AI, 2026). 이사회 관리 소프트웨어 OnBoard는 페이지 1개 상단에 독립적으로 인용 가능한 문장으로 된 Key Takeaways 섹션과 스키마 마크업을 추가하고, 비슷한 페이지 1개를 대조군으로 남겼다. 기간은 6주, 체크포인트는 약 2주 간격이었고 주지표는 시작 전에 인용률로 정했다.[2]
| 지표 | 시작 | 체크포인트 1 | 체크포인트 2 | 종료 |
|---|---|---|---|---|
| 인용률, 실험 페이지 | 1.45 | 1.79 | 2.03 | 2.33 |
| 인용률, 대조 페이지 | 1.61 | 1.51 | 1.60 | 1.72 |
| 리트리벌, 실험 페이지 | 199 | 222 | 178 | 166 |
| 리트리벌, 대조 페이지 | 36 | 136 | 177 | 92 |
| 가시성, 실험 페이지 | 22% | 12.4% | 7.3% | 9% |
출처: (Peec AI, 2026)[2]
실험 페이지 인용률은 6주 동안 61% 올랐고 절대 인용 수는 289건에서 387건으로 34% 늘었다. 같은 기간 대조 페이지 인용률은 약 7% 올랐다.[2] 이 표에서 눈여겨볼 부분은 실험 페이지의 가시성이 22%에서 9%로 내려갔다는 점이다. 주지표를 미리 인용률로 정해 두지 않았다면 같은 데이터를 두고 성공과 실패를 두고 다투게 됐을 것이다.
Bricx, 신규 도메인 관찰(Peec AI, 2026). OnBoard 사례와 같은 Peec AI 글에 실린 두 번째 팀이다.[2] UX 디자인 에이전시 Bricx는 목표 검색어와 거의 같은 도메인을 사서 에이전시 디렉터리를 만들고 67일간 추적했다. 참조 도메인 6개, 권위 점수 0인 상태에서도 몇 주 안에 "best UX agency" 류 프롬프트에서 인용됐다. 리트리벌의 91%가 ChatGPT에서 나왔고, 정확한 헤드 키워드 프롬프트에서는 답변의 38.6%에서 리트리벌됐지만 구매 질문에 가까운 프롬프트에서는 5% 미만이었다.[2] 대조군이 없으므로 인과 판정이 아니라 가설 탐색 결과로 읽어야 한다.
왜 반복 측정이 실험 설계의 일부인가
AI 답변은 같은 질문에도 매번 달라진다. SparkToro와 Gumshoe가 프롬프트 12개를 ChatGPT, Claude, Google AI에서 각각 60~100회 돌린 조사에서, ChatGPT와 Google AI가 두 응답에서 같은 브랜드 목록을 낼 확률은 100분의 1 미만이었고 같은 순서로 낼 확률은 약 1,000회에 1회 수준이었다.[5] 그래서 실험군과 대조군을 비교하기 전에 각 그룹의 측정값이 얼마나 흔들리는지부터 알아야 한다.
| 반복 횟수 | 오차범위(pp) | 출처 |
|---|---|---|
| 5회 | 27pp | (Evertune, 2026) |
| 12회 | 12pp | (Evertune, 2026) |
| 100회 | 6pp | (Evertune, 2026) |
Evertune이 ChatGPT에서 한 프롬프트를 반복 실행해 본 결과, 5회 반복의 오차범위는 27pp였고 100회 반복은 약 6pp였다.[6] 가령 실험군 인용률이 10pp 올랐는데 측정 오차가 27pp라면 그 10pp는 판정 근거가 되지 못한다. 프롬프트 수와 반복 횟수를 어떻게 나눌지는 AI 가시성 점수의 표본 크기 기준에서 계산식과 함께 다뤘다. 답변이 매번 바뀌는 원인은 AI 브랜드 추천이 매번 바뀌는 이유를 참고하면 된다.
지표 설계: 주지표 하나, 가드레일, 방향성 지표
지표를 정할 때 흔한 실수는 보고 싶은 지표를 전부 성공 기준에 넣는 것이다. 지표가 다섯 개면 그중 하나는 우연히 좋아지기 마련이고, 실험이 끝난 뒤 좋아진 지표를 골라 성공이라고 보고하게 된다.
| 구분 | 역할 | 예시 지표 | 정하는 시점 | 나쁜 예 |
|---|---|---|---|---|
| 주지표 | 성공과 실패 판정 | AI 답변 속 인용률, 또는 테스트 페이지의 전체 오가닉 세션 | 실험 시작 전 | 실험 후 좋아진 지표로 바꿔 보고 |
| 가드레일 | 부작용 차단 | 구글 오가닉 세션, 전환율 | 실험 시작 전 | 가드레일 없이 LLM 유입만 보고 배포 |
| 방향성 | 원인 해석 | Search Console 노출, ChatGPT 유입, 답변 속 언급 | 실험 시작 전 또는 중 | 방향성 지표로 판정 |
리드젠랩은 주지표는 하나만 두라고 권하면서, LLM 유입은 양이 작아 결론이 나지 않는 경우가 많다고 짚었다.[1] 그래서 LLM 유입이 하루 수십 건 수준인 사이트라면 AI 답변 속 인용률을 주지표로 두고, LLM 유입은 방향성 지표로 내리는 편이 판정 가능성이 높다. LLM 유입을 GA4에서 어떻게 분리하는지는 GA4 AI 어시스턴트 채널 측정 가이드에 정리돼 있다. 인용과 언급을 구분해 세는 기준은 AI 답변 속 브랜드 언급과 인용의 차이를 보면 된다.
실행: GEO A/B 테스트 6단계
| 단계 | 할 일 | 산출물 | 흔한 실수 |
|---|---|---|---|
| 1 가설 | 바꿀 요소 하나와 기대 변화를 한 문장으로 쓴다 | "요약 블록을 넣으면 인용률이 오른다" | 요약, FAQ, 스키마를 한 번에 바꿔 원인을 못 가린다 |
| 2 분할 | 같은 템플릿 페이지를 비슷한 두 그룹으로, 또는 비슷한 페이지 1쌍으로 나눈다 | 대조군과 실험군 URL 목록 | 유입이 큰 페이지만 실험군에 몰아 넣는다 |
| 3 지표 등록 | 주지표 1개, 가드레일, 방향성 지표와 판정 기준을 문서로 고정한다 | 실험 설계서 | 실험 도중 주지표를 바꾼다 |
| 4 측정 준비 | 프롬프트 세트와 엔진, 반복 횟수를 정해 시작 전 기준값을 잰다 | 기준값 표 | 기준값 없이 바로 변경을 배포한다 |
| 5 운영 | 체크포인트마다 두 그룹을 같은 방식으로 측정하고 테스트 요소 외에는 손대지 않는다 | 체크포인트 기록 | 실험군에만 추가 수정을 한다 |
| 6 판정 | 가드레일을 먼저 확인하고 주지표로 배포, 수정, 폐기를 정한다 | 판정 기록과 다음 가설 | 가드레일 악화를 무시하고 배포한다 |
변형 페이지를 별도 URL로 운영한다면 구글 가이드를 지켜야 한다. 구글봇과 사용자에게 다른 URL을 보여 주는 클로킹은 테스트 목적이어도 스팸 정책 위반이고, 변형 URL에는 rel=canonical로 원본을 지정하며, 리디렉트가 필요하면 301이 아닌 302를 쓰고, 실험은 필요한 만큼만 운영한 뒤 테스트 요소를 바로 제거하라고 안내한다.[4] 같은 URL 안에서 HTML을 바꾸는 페이지 분할 방식이라면 이 문제는 대부분 생기지 않는다.
4단계의 측정 도구는 실험 결과의 정밀도를 좌우한다. OnBoard와 Bricx는 Peec AI로 인용과 리트리벌을 추적했고 Bricx는 Google Search Console을 함께 썼다.[2] 한국어 프롬프트와 국내 엔진까지 봐야 한다면 BOIDA 같은 국내 측정 솔루션도 후보에 넣을 수 있다. 엔진마다 결과가 크게 다르므로 엔진별로 따로 기록하는 방법은 멀티 엔진 측정 가이드를 참고한다. 실험에 넣을 변경 요소 후보는 AI가 인용하기 좋은 콘텐츠 구조에서 고를 수 있다.
정리
GEO A/B 테스트에서 결과를 판정할 수 있게 해 주는 것은 세 가지다. 외부 요인을 걸러 낼 대조군, 시작 전에 고정한 주지표 하나, 그리고 AI 유입을 얻는 대신 구글 유입을 잃지 않도록 막는 가드레일이다. Omio 사례는 같은 GEO 변경이라도 가드레일에 걸리면 배포하지 않는 판단이 필요하다는 것을 보여 줬고, OnBoard 사례는 주지표를 미리 정해 두면 가시성 하락 같은 엇갈린 신호 속에서도 판정을 내릴 수 있다는 것을 보여 줬다. 여기에 반복 측정으로 오차를 줄이면 변화가 실제인지 우연인지 가를 수 있다. GEO 전반의 개념은 GEO란 무엇인가에서 시작하면 된다. 리드젠랩 회사 정보는 리드젠랩 회사 페이지에 있다.
관련 회사
- 리드젠랩 (LeadGenLab)AI 가시성 최적화 에이전시
- 보이다 (BOIDA)생성형 검색 최적화(GEO) 솔루션, AI 가시성 측정
- Peec AIAI 가시성 모니터링 플랫폼
자주 묻는 질문
- 방법은 같은 페이지 분할 방식을 쓰지만 보는 지표가 다릅니다. SEO 테스트는 구글 오가닉 유입을 보고, GEO 테스트는 LLM 유입과 AI 답변 속 인용을 봅니다. Omio 사례처럼 같은 변경이 LLM 유입에는 긍정적이고 구글 오가닉에는 부정적일 수 있으므로 두 지표를 함께 봐야 합니다(SearchPilot, n.d.).
- 할 수 있지만 방식이 달라집니다. 비슷한 페이지가 수백 개 이상이면 그룹을 나누는 페이지 분할 테스트가 맞고, 몇 개뿐이면 실험 페이지 1개와 비교 페이지 1개를 짝지어 기간 동안 함께 추적합니다. OnBoard는 후자 방식으로 6주 동안 2주 간격 체크포인트를 두고 인용률을 비교했습니다(Peec AI, 2026).
- 데이터 양을 보고 정합니다. LLM 유입은 매출과 가깝지만 양이 작아 결론이 나지 않는 경우가 많습니다(리드젠랩, 2026). 유입이 적은 사이트는 AI 답변 속 인용률을 주지표로 두고 LLM 유입을 방향성 지표로 보는 편이 판정 가능성이 높습니다.
- 고정된 기준은 없고 사전에 정한 주지표가 판정 가능한 수준에 이를 때까지 운영합니다. 다만 구글은 테스트를 필요한 만큼만 운영하고 끝나면 테스트 요소를 바로 제거하라고 권합니다(Google Search Central, n.d.). 공개 사례 중에서는 OnBoard가 6주를 썼습니다(Peec AI, 2026).
- 만든다면 변형 URL에 rel=canonical로 원본을 지정하고, 리디렉트가 필요하면 301이 아니라 302를 씁니다. 구글봇과 사용자에게 다른 내용을 보여 주는 클로킹은 테스트 목적이어도 스팸 정책 위반입니다(Google Search Central, n.d.).
- 사전에 정한 주지표 기준으로 판정합니다. OnBoard 실험에서 실험 페이지의 인용률은 1.45에서 2.33으로 올랐지만 가시성은 22%에서 9%로 내려갔습니다(Peec AI, 2026). 주지표가 인용률이면 성공으로 보되, 가시성 하락을 다음 실험의 가설로 기록해 둡니다.
Q.GEO A/B 테스트와 SEO A/B 테스트는 무엇이 다른가요?
Q.페이지가 몇 개 없으면 GEO 실험을 못 하나요?
Q.주지표는 LLM 유입과 인용률 중 무엇으로 정해야 하나요?
Q.실험 기간은 얼마나 잡아야 하나요?
Q.실험 중에 별도 URL로 변형 페이지를 만들어도 되나요?
Q.실험 페이지의 가시성이 내려갔는데 인용률은 올랐다면 성공인가요?
출처 및 참고 자료
- [1] ↑GEO A/B 테스트, AI 유입과 구글 유입을 함께 보는 실험 설계법 — 리드젠랩
- [2] ↑How two teams run their own GEO experiments — Peec AI
- [3] ↑GEO A/B Testing: SEO and GEO Are Not The Same — SearchPilot
- [4] ↑Minimize A/B testing impact in Google Search — Google Search Central
- [5] ↑AIs are highly inconsistent when recommending brands or products — SparkToro
- [6] ↑How many repetitions of a single prompt does it take to understand your AI visibility? — Evertune
관련 문서
- AI 가시성 점수, 프롬프트 몇 개로 몇 번 재야 믿을 수 있나: 표본 크기와 반복 측정 기준AI 가시성 점수를 믿으려면 프롬프트 몇 개를 몇 번 반복해야 하는지 응답 수별 신뢰구간 표, 두 기간 비교에 필요한 응답 수, 반복 응답의 설계효과, SparkToro와 Evertune 등 공개 실험 결과, 5단계 표본 설계 절차로 정리한다.
- GEO KPI 성과 측정 방법: 인용률, SoV, 프롬프트 모니터링 완전 가이드: 솔루션 비교 포함GEO 성과를 측정하는 핵심 KPI인 인용률, AI SoV, 프롬프트 모니터링의 정의와 측정 방법을 단계별로 정리한다. arXiv 기반 통계 프레임워크, 브랜드 규모별 기준치, 국내외 측정 솔루션 비교표를 통해 AI 검색 가시성을 정량화하는 실전 가이드.
- GA4 AI 어시스턴트 채널: ChatGPT, Gemini, Claude 유입 측정 가이드 20262026년 5월 GA4에 신설된 AI 어시스턴트 채널이 자동 분류하는 AI 유입과 여전히 누락되는 다크 트래픽 실체, Perplexity, Claude까지 포괄하는 보완 측정 실행법과 커스텀 채널 그룹 설정 방법을 단계별로 정리한다.
- AI에 같은 질문을 해도 브랜드 추천이 매번 바뀌는 이유: 응답 변동성 5가지 원인과 측정 대응ChatGPT, Claude, Google AI에 같은 질문을 해도 브랜드 추천이 매번 달라지는 이유를 샘플링, 추론 비결정성, 쿼리 팬아웃 검색, 개인화, 프롬프트 표현 다섯 층으로 나누고 SparkToro 등 공개 실험 수치와 측정 대응 5단계로 정리한다.
- AI 답변에 인용되는 콘텐츠 구조, 추출 가능한 글쓰기AI가 인용하는 글은 '읽기 좋은 글'과 다릅니다. 인용 단위 분할, 핵심 답변 앞 배치, 질문-답변 구조, 표, 목록, 정의로 추출 가능성을 높이는 콘텐츠 구조를 GEO 논문 근거와 실전 체크표로 정리합니다.
- AI 답변에서 브랜드 언급과 인용의 차이: 무엇을 측정해야 하나, 고스트 인용과 지표 4종AI 답변의 브랜드 언급(이름 등장)과 인용(출처 링크)은 서로 다른 신호다. 고스트 인용 61.7%, 엔진별 링크율 차이 등 실측 데이터와 함께 언급률, 인용률, 연결 언급률을 어떻게 나눠 측정할지 엔진별, 질문 유형별로 정리한다.
- 멀티엔진 측정, ChatGPT, Gemini, Perplexity, Claude 가시성 측정 방법론엔진마다 답변이 다른 이유와 단일 엔진 측정의 함정, 그리고 프롬프트 세트, 반복, 점유율로 AI 가시성을 측정하는 멀티엔진 GEO 방법론을 정리합니다.
- GEO란 무엇인가, 생성형 검색 최적화의 정의와 SEO와의 차이GEO(생성형 검색 최적화)는 ChatGPT, Perplexity 같은 생성형 엔진의 답변에 콘텐츠가 인용되도록 만드는 전략입니다. 정의, SEO와의 차이, 작동 원리를 정리합니다.