AI 크롤러 종류 구분, 검색용과 학습용과 사용자 요청 에이전트 차이와 robots.txt
GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, ChatGPT-User 등 AI 봇 9종을 학습용, 검색 색인용, 사용자 요청형으로 나누고 robots.txt 적용 여부를 OpenAI, 앤트로픽, 구글 공식 문서로 정리한다.
AI 크롤러 종류를 구분하지 않고 robots.txt를 쓰면 결과가 의도와 반대로 나온다. 학습만 막으려던 사이트가 ChatGPT 검색 답변에서 사라지고, 반대로 다 막았다고 생각한 사이트가 사용자 요청으로 계속 열린다. 원인은 하나다. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended는 이름이 비슷해도 하는 일이 다르고, robots.txt가 적용되는 범위도 다르다. 이 글은 아홉 개 이름을 학습용, 검색 색인용, 사용자 요청형으로 나누고, 각각이 robots.txt를 따르는지 운영사 공식 문서 문장 기준으로 정리한다. 마지막에는 목표별로 그대로 붙여 쓸 수 있는 robots.txt 예시를 둔다.
AI 크롤러 세 가지 유형 정의
- 학습용 크롤러는 웹 콘텐츠를 수집해 생성형 모델 학습 데이터 후보로 쓰는 봇이다. 예: GPTBot, ClaudeBot.
- 검색 색인용 크롤러는 웹 페이지를 수집해 AI 검색 답변의 인용 후보로 색인하는 봇이다. 예: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- 사용자 요청 에이전트는 사용자가 질문하거나 작업을 시킨 순간 특정 페이지를 가져오는 페처다. 예: ChatGPT-User, Claude-User, Perplexity-User.
- 제어 토큰은 별도 요청을 보내지 않고 robots.txt 안에서 수집분의 사용 범위만 지정하는 이름이다. 예: Google-Extended.
9개 AI 봇 비교표, 용도와 robots.txt 적용 여부
아래 표의 "robots.txt 적용" 열은 운영사가 문서에 쓴 표현을 옮긴 것이다. "따름"은 운영사가 준수를 명시한 경우, "미적용 가능"은 운영사가 적용되지 않을 수 있다고 밝힌 경우다.
| 이름 | 운영사 | 유형 | 하는 일 | robots.txt 적용 | 차단했을 때 결과 |
|---|---|---|---|---|---|
| GPTBot | OpenAI | 학습용 | 생성형 기반 모델 학습에 쓰일 수 있는 콘텐츠 수집 | 따름 | 이후 콘텐츠가 학습에 쓰이지 않아야 한다는 신호 |
| OAI-SearchBot | OpenAI | 검색 색인용 | ChatGPT 검색 기능에 사이트 노출 | 따름 | ChatGPT 검색 답변에 표시 안 됨, 탐색용 링크로는 나올 수 있음 |
| ChatGPT-User | OpenAI | 사용자 요청형 | ChatGPT와 Custom GPT에서 사용자 동작 수행 | 미적용 가능 | 접근 차단이 보장되지 않음, 검색 노출 판단에는 안 쓰임 |
| ClaudeBot | Anthropic | 학습용 | 모델 학습에 기여할 수 있는 웹 콘텐츠 수집 | 따름 | 이후 콘텐츠를 학습 데이터에서 제외하라는 신호 |
| Claude-SearchBot | Anthropic | 검색 색인용 | 사용자 검색 결과 품질 개선을 위한 탐색 | 따름 | 검색용 색인 불가, 검색 결과 노출과 정확도 저하 가능 |
| Claude-User | Anthropic | 사용자 요청형 | 사용자가 Claude에 질문할 때 웹사이트 조회 | 따름 | 사용자 질문에 따른 조회 불가, 사용자 주도 검색 노출 감소 가능 |
| PerplexityBot | Perplexity | 검색 색인용 | Perplexity 검색 결과에 사이트 노출과 링크 | 따름 | 검색 결과 노출 경로 차단, 학습용 수집에는 안 쓰임 |
| Perplexity-User | Perplexity | 사용자 요청형 | 사용자가 질문할 때 답변용 페이지 방문 | 대체로 무시 | 페이지 조회가 계속될 수 있음 |
| Google-Extended | 제어 토큰 | Gemini 학습과 그라운딩에 쓰일지 여부 지정 | 토큰 자체가 robots.txt 규칙 | 구글 검색 포함 여부와 순위에는 영향 없음 |
공식 문서가 밝힌 근거
OpenAI 문서는 세 봇의 역할을 문장으로 나눈다. GPTBot은 생성형 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 검색용이며, 두 설정은 서로 독립적이라 OAI-SearchBot은 허용하고 GPTBot은 막을 수 있다고 적었다.[1] ChatGPT-User에 대해서는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있고, 검색 노출 여부 판단에는 쓰이지 않는다고 밝혔다.[1] robots.txt를 고친 뒤 검색 쪽에 반영되기까지 약 24시간이 걸릴 수 있다는 안내도 같은 문서에 있다(OpenAI, 2026).[1]
앤트로픽은 구조가 같지만 사용자 요청형 처리가 다르다. 앤트로픽 안내문은 자사 봇이 robots.txt의 업계 표준 지시를 따른다고 쓰고, Claude-User를 막으면 사용자 질문에 맞춰 사이트 콘텐츠를 가져오지 못해 사용자 주도 검색 노출이 줄 수 있다고 설명한다.[2] 같은 문서는 비표준 확장인 Crawl-delay를 지원한다는 점, IP 차단은 봇이 robots.txt를 읽지 못하게 만들어 옵트아웃을 보장하지 못하므로 권하지 않는다는 점도 밝힌다(Anthropic, 2026).[2]
Perplexity는 PerplexityBot이 검색 결과에 사이트를 노출하는 용도이고 AI 기반 모델용 수집에는 쓰이지 않는다고 적었다. Perplexity-User는 사용자 질문에 답하려고 페이지를 방문하는 페처이며 robots.txt 규칙을 대체로 무시한다고 명시했다. 변경 반영에는 최대 24시간이 걸릴 수 있다(Perplexity, 2026).[3]
구글은 Google-Extended를 독립된 제품 토큰으로 정의한다. 별도 HTTP 사용자 에이전트 문자열이 없고, 수집은 기존 구글 크롤러가 하며, 이 토큰은 수집분이 Gemini 모델 학습과 Gemini 앱, Vertex AI의 그라운딩에 쓰일지를 제어한다. 구글 검색 포함 여부와 순위 신호에는 영향이 없다고 문서에 쓰여 있다(Google, 2026).[4] 구글은 일반 크롤러가 자동 수집에서 robots.txt를 항상 따른다고 밝히는 반면[6], Google-Agent를 포함한 사용자 트리거 페처는 사용자가 요청한 조회라 robots.txt를 대체로 무시한다고 별도 문서에서 밝힌다(Google, 2026).[5]
왜 유형을 나눠야 하나, 원인과 영향
차단 사고는 대부분 User-agent: * 한 줄에서 시작한다. 학습을 막을 생각으로 전체 차단을 걸면 학습용과 함께 검색 색인용도 같이 막힌다. 영향은 엔진마다 다르게 나타난다. OpenAI는 OAI-SearchBot을 막은 사이트가 ChatGPT 검색 답변에 나오지 않는다고 밝혔으니, 학습 거부 의도가 곧 ChatGPT 검색 인용 포기로 이어진다.[1]
반대 방향의 착각도 흔하다. 세 회사 봇을 이름으로 모두 막았으니 AI가 페이지를 못 읽는다고 판단하는 경우다. OpenAI와 Perplexity는 사용자 요청형에 robots.txt가 적용되지 않을 수 있다고 이미 밝혔고[1][3], 구글 사용자 트리거 페처도 같은 입장이다.[5] 표준 문서인 RFC 9309 역시 robots.txt 규칙이 접근 권한 통제 수단이 아니라고 명시한다(IETF, 2022).[7] 사용자 요청형까지 막아야 하는 사이트라면 로그인, 서버 응답 코드, WAF 규칙처럼 robots.txt 바깥의 수단을 써야 한다. CDN과 WAF 기본값이 이 봇들을 어떻게 다루는지는 CDN, WAF 기본 설정 AI 크롤러 점검 체크리스트에서 따로 점검한다.
GEO 관점에서 남는 결론은 단순하다. AI 검색 인용을 원하면 검색 색인용 봇 세 개는 열어 둬야 하고, 학습 거부는 학습용 봇 이름과 Google-Extended로만 건다. 이 둘은 서로 충돌하지 않는다. AI 검색 인용이 왜 중요한지는 GEO란 무엇인가에, 시장 전체 흐름은 글로벌 GEO, AEO 지형도 2026에 정리돼 있다.
목표별 robots.txt 설정 방법
| 목표 | 학습용 (GPTBot, ClaudeBot) | 검색 색인용 (OAI-SearchBot, Claude-SearchBot, PerplexityBot) | 사용자 요청형 (ChatGPT-User, Claude-User, Perplexity-User) | Google-Extended |
|---|---|---|---|---|
| AI 노출 최대화 | 허용 | 허용 | 허용 | 허용 |
| 학습 거부, 검색 인용 유지 | 차단 | 허용 | 허용 | 차단 |
| AI 전면 거부 | 차단 | 차단 | robots.txt만으로 부족, 서버 조치 병행 | 차단 |
"학습 거부, 검색 인용 유지"가 대다수 브랜드 사이트에 맞는 기본값이다. 아래 예시는 그 설정이다.
# 학습용 차단
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# 검색 색인용 허용
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 사용자 요청형 허용
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /
적용 순서는 다음과 같다.
- 현재 파일 확인: 사이트 루트의
/robots.txt를 열어User-agent: *그룹에Disallow: /가 있는지 본다. 앤트로픽은 서브도메인마다 robots.txt를 따로 둬야 한다고 안내한다.[2] - 이름별 그룹 작성: 위 예시처럼 봇 이름마다 그룹을 둔다. 이름을 적은 그룹이 있으면 해당 봇은 그 그룹을 따른다(IETF, 2022).[7]
- 반영 대기: OpenAI와 Perplexity 기준 최대 약 24시간을 기다린다.[1][3]
- 서버 로그 대조: 접속 IP를 운영사가 공개한 IP 목록과 비교해 사칭 봇을 걸러낸다. OpenAI는 봇별 IP 목록 JSON을, 앤트로픽은 봇 IP 목록을 공개한다.[1][2]
- 렌더링 점검: 허용해도 본문이 자바스크립트로만 그려지면 봇이 읽지 못한다. 자바스크립트 렌더링과 AI 크롤러 사각지대에서 원문 HTML 노출 여부를 확인한다.
새로 나온 공통 학습 거부 토큰 __usage_ai-training은 회사별 이름을 대신하는 용도 토큰이다. 문법과 회사별 적용 시점은 robots.txt AI 학습 차단 공통 토큰 정리에, 허용과 차단의 가시성 트레이드오프는 AI 크롤러 관리 가이드에 있다. 클라우드플레어처럼 인프라 단에서 기본 차단이 걸리는 경우는 클라우드플레어 AI 크롤러 기본 차단과 GEO 영향을, 구글 AI 기능 옵트아웃은 구글 AI 모드 퍼블리셔 옵트아웃 전략을 함께 본다.
정리
AI 크롤러는 학습용, 검색 색인용, 사용자 요청형 세 갈래이고 Google-Extended는 크롤러가 아니라 제어 토큰이다. 학습용과 검색 색인용은 운영사가 robots.txt 준수를 명시했지만, 사용자 요청형은 회사마다 다르다. ChatGPT-User와 Perplexity-User는 적용되지 않을 수 있고 Claude-User는 차단 시 조회가 멈춘다고 안내돼 있다. 검색 인용을 지키면서 학습만 거부하려면 GPTBot, ClaudeBot, Google-Extended만 이름으로 막고 나머지는 열어 두면 된다. 그 뒤 24시간을 기다려 서버 로그로 실제 동작을 확인한다.
자주 묻는 질문
- GPTBot은 OpenAI 생성형 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 노출하기 위해 수집합니다. 두 설정은 서로 독립적이어서 GPTBot만 막고 OAI-SearchBot은 허용할 수 있습니다(OpenAI, 2026).
- 보장되지 않습니다. OpenAI는 ChatGPT-User가 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. 또 ChatGPT-User는 검색 노출 여부를 판단하는 데 쓰이지 않습니다(OpenAI, 2026).
- 앤트로픽 안내는 다릅니다. 앤트로픽은 자사 봇이 robots.txt 지시를 따른다고 밝히고, Claude-User를 막으면 사용자가 Claude에 질문할 때 해당 사이트 콘텐츠를 가져오지 못해 사용자 주도 검색 노출이 줄 수 있다고 안내합니다(Anthropic, 2026).
- 아닙니다. 구글은 Google-Extended가 구글 검색 포함 여부에 영향을 주지 않고 검색 순위 신호도 아니라고 밝힙니다. 이 토큰은 Gemini 모델 학습과 Gemini 앱, Vertex AI의 그라운딩 사용을 제어합니다(Google, 2026).
- PerplexityBot 차단은 검색 결과 노출 경로를 닫지만, Perplexity-User는 사용자가 질문할 때 페이지를 방문하며 robots.txt를 대체로 무시한다고 Perplexity가 밝히고 있어 페이지 조회가 계속될 수 있습니다(Perplexity, 2026).
- OpenAI는 검색 쪽 반영에 약 24시간, Perplexity는 최대 24시간이 걸릴 수 있다고 안내합니다. 표준 문서 RFC 9309도 캐시한 robots.txt를 24시간 넘게 쓰지 않도록 권고합니다(OpenAI, 2026; Perplexity, 2026; IETF, 2022).
Q.GPTBot과 OAI-SearchBot은 무엇이 다른가요?
Q.ChatGPT-User를 robots.txt로 막으면 ChatGPT가 우리 페이지를 못 여나요?
Q.Claude-User도 robots.txt를 무시하나요?
Q.Google-Extended를 막으면 구글 검색에서 빠지나요?
Q.PerplexityBot을 막으면 Perplexity 답변에서 완전히 사라지나요?
Q.robots.txt를 바꾸면 언제 반영되나요?
출처 및 참고 자료
- [1] ↑Overview of OpenAI Crawlers — OpenAI
- [2] ↑Does Anthropic crawl data from the web, and how can site owners block the crawler? — Anthropic
- [3] ↑Perplexity Crawlers — Perplexity
- [4] ↑Google's common crawlers — Google Search Central
- [5] ↑Google's user-triggered fetchers — Google Search Central
- [6] ↑Overview of Google crawlers and fetchers — Google Search Central
- [7] ↑RFC 9309: Robots Exclusion Protocol — IETF
관련 문서
- AI 크롤러 관리, GPTBot, ClaudeBot, PerplexityBot 허용과 트레이드오프GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended를 식별하고 robots.txt로 허용/차단할 때의 가시성 트레이드오프를 OpenAI, 구글 공식 문서 기준으로 정리한다.
- robots.txt AI 학습 차단 공통 토큰 __usage_ai-training 뜻과 GEO 영향OpenAI, 구글, 마이크로소프트, 앤트로픽이 지원하기로 한 robots.txt 공통 토큰 __usage_ai-training의 문법, 회사별 적용 시점, 학습 차단이 AI 검색 인용에 미치는 영향과 설정 순서를 정리한다.
- 클라우드플레어 AI 크롤러 기본 차단 2026년 9월 15일, 우리 사이트는 AI 답변에서 사라지나2026년 9월 15일 발효된 클라우드플레어의 Search, Agent, Training 3분류 기본값을 정리한다. 검색 크롤러는 기본 허용이지만 혼합 목적 크롤러 차단과 에이전트 차단이 AI 답변 인용을 끊는 실제 경로다.
- CDN, WAF 기본 설정 AI 크롤러 차단 점검표: Cloudflare, AWS WAF, AkamaiCloudflare, AWS WAF, Akamai, Fastly, Vercel의 봇 관리 기본값이 GPTBot, OAI-SearchBot, PerplexityBot을 막는지 확인하는 순서와 AI 검색 인용에 미치는 영향을 공식 문서 기준으로 정리한 점검표다.
- AI 크롤러는 자바스크립트를 실행하는가, CSR/SPA 콘텐츠 인용 누락 점검과 수정 방법GPTBot, ClaudeBot, PerplexityBot은 자바스크립트를 실행하지 않는다. CSR/SPA 콘텐츠가 AI 검색 인용에서 통째로 빠지는 이유와, curl 점검부터 SSR 전환까지의 수정 절차를 공식 문서 기준으로 정리한다.
- Google AI Mode, AI Overviews 퍼블리셔 옵트아웃: GEO 전략 딜레마와 유형별 선택 기준Google은 2026년 6월 Search Console에 AI Mode와 AI Overviews 관련 옵트아웃 기능을 도입했다. 퍼블리셔는 AI 검색 노출을 유지할지, 콘텐츠 활용 범위를 더 강하게 통제할지 선택해야 한다. 이 글은 딜레마 구조와 유형별 선택 기준을 정리한다.
- GEO란 무엇인가, 생성형 검색 최적화의 정의와 SEO와의 차이GEO(생성형 검색 최적화)는 ChatGPT, Perplexity 같은 생성형 엔진의 답변에 콘텐츠가 인용되도록 만드는 전략입니다. 정의, SEO와의 차이, 작동 원리를 정리합니다.
- 글로벌 GEO/AEO 플레이어 지형도 2026, 모니터링 툴, 에이전시, 플랫폼 총정리GEO/AEO 시장의 플레이어를 모니터링 툴, 전문 솔루션, 에이전시, 엔터프라이즈 플랫폼, 지역 플레이어로 나눠 정리한 2026년 지형도. 카테고리별 대표 업체를 설립, 본사, 추적 엔진, 가격, 차별화까지 1차 출처로 비교합니다.