WWikiAP
분류: 기술

AI 크롤러 종류 구분, 검색용과 학습용과 사용자 요청 에이전트 차이와 robots.txt

GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, ChatGPT-User 등 AI 봇 9종을 학습용, 검색 색인용, 사용자 요청형으로 나누고 robots.txt 적용 여부를 OpenAI, 앤트로픽, 구글 공식 문서로 정리한다.

Technical GEO 에디터발행

AI 크롤러 종류를 구분하지 않고 robots.txt를 쓰면 결과가 의도와 반대로 나온다. 학습만 막으려던 사이트가 ChatGPT 검색 답변에서 사라지고, 반대로 다 막았다고 생각한 사이트가 사용자 요청으로 계속 열린다. 원인은 하나다. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended는 이름이 비슷해도 하는 일이 다르고, robots.txt가 적용되는 범위도 다르다. 이 글은 아홉 개 이름을 학습용, 검색 색인용, 사용자 요청형으로 나누고, 각각이 robots.txt를 따르는지 운영사 공식 문서 문장 기준으로 정리한다. 마지막에는 목표별로 그대로 붙여 쓸 수 있는 robots.txt 예시를 둔다.

AI 크롤러 세 가지 유형 정의

  • 학습용 크롤러는 웹 콘텐츠를 수집해 생성형 모델 학습 데이터 후보로 쓰는 봇이다. 예: GPTBot, ClaudeBot.
  • 검색 색인용 크롤러는 웹 페이지를 수집해 AI 검색 답변의 인용 후보로 색인하는 봇이다. 예: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • 사용자 요청 에이전트는 사용자가 질문하거나 작업을 시킨 순간 특정 페이지를 가져오는 페처다. 예: ChatGPT-User, Claude-User, Perplexity-User.
  • 제어 토큰은 별도 요청을 보내지 않고 robots.txt 안에서 수집분의 사용 범위만 지정하는 이름이다. 예: Google-Extended.
AI 크롤러는 용도별로 세 갈래, robots.txt 적용 범위가 다르다 학습용 GPTBot ClaudeBot 수집분이 모델 학습 후보 robots.txt 따름 차단해도 검색 인용은 유지 검색 색인용 OAI-SearchBot Claude-SearchBot PerplexityBot AI 검색 답변의 인용 후보 robots.txt 따름 차단하면 검색 답변에서 빠짐 사용자 요청형 ChatGPT-User Claude-User Perplexity-User 질문 순간 페이지를 가져옴 OpenAI, Perplexity는 미적용 가능 Claude-User는 차단 시 조회 중단 제어 토큰, Google-Extended 별도 요청을 보내지 않음. 구글이 수집한 콘텐츠의 Gemini 학습과 그라운딩 사용만 제어, 검색 순위와 무관
AI 크롤러 세 유형과 제어 토큰. 출처는 OpenAI, Anthropic, Perplexity, Google 공식 문서(2026).

9개 AI 봇 비교표, 용도와 robots.txt 적용 여부

아래 표의 "robots.txt 적용" 열은 운영사가 문서에 쓴 표현을 옮긴 것이다. "따름"은 운영사가 준수를 명시한 경우, "미적용 가능"은 운영사가 적용되지 않을 수 있다고 밝힌 경우다.

이름운영사유형하는 일robots.txt 적용차단했을 때 결과
GPTBotOpenAI학습용생성형 기반 모델 학습에 쓰일 수 있는 콘텐츠 수집따름이후 콘텐츠가 학습에 쓰이지 않아야 한다는 신호
OAI-SearchBotOpenAI검색 색인용ChatGPT 검색 기능에 사이트 노출따름ChatGPT 검색 답변에 표시 안 됨, 탐색용 링크로는 나올 수 있음
ChatGPT-UserOpenAI사용자 요청형ChatGPT와 Custom GPT에서 사용자 동작 수행미적용 가능접근 차단이 보장되지 않음, 검색 노출 판단에는 안 쓰임
ClaudeBotAnthropic학습용모델 학습에 기여할 수 있는 웹 콘텐츠 수집따름이후 콘텐츠를 학습 데이터에서 제외하라는 신호
Claude-SearchBotAnthropic검색 색인용사용자 검색 결과 품질 개선을 위한 탐색따름검색용 색인 불가, 검색 결과 노출과 정확도 저하 가능
Claude-UserAnthropic사용자 요청형사용자가 Claude에 질문할 때 웹사이트 조회따름사용자 질문에 따른 조회 불가, 사용자 주도 검색 노출 감소 가능
PerplexityBotPerplexity검색 색인용Perplexity 검색 결과에 사이트 노출과 링크따름검색 결과 노출 경로 차단, 학습용 수집에는 안 쓰임
Perplexity-UserPerplexity사용자 요청형사용자가 질문할 때 답변용 페이지 방문대체로 무시페이지 조회가 계속될 수 있음
Google-ExtendedGoogle제어 토큰Gemini 학습과 그라운딩에 쓰일지 여부 지정토큰 자체가 robots.txt 규칙구글 검색 포함 여부와 순위에는 영향 없음

공식 문서가 밝힌 근거

OpenAI 문서는 세 봇의 역할을 문장으로 나눈다. GPTBot은 생성형 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 검색용이며, 두 설정은 서로 독립적이라 OAI-SearchBot은 허용하고 GPTBot은 막을 수 있다고 적었다.[1] ChatGPT-User에 대해서는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있고, 검색 노출 여부 판단에는 쓰이지 않는다고 밝혔다.[1] robots.txt를 고친 뒤 검색 쪽에 반영되기까지 약 24시간이 걸릴 수 있다는 안내도 같은 문서에 있다(OpenAI, 2026).[1]

앤트로픽은 구조가 같지만 사용자 요청형 처리가 다르다. 앤트로픽 안내문은 자사 봇이 robots.txt의 업계 표준 지시를 따른다고 쓰고, Claude-User를 막으면 사용자 질문에 맞춰 사이트 콘텐츠를 가져오지 못해 사용자 주도 검색 노출이 줄 수 있다고 설명한다.[2] 같은 문서는 비표준 확장인 Crawl-delay를 지원한다는 점, IP 차단은 봇이 robots.txt를 읽지 못하게 만들어 옵트아웃을 보장하지 못하므로 권하지 않는다는 점도 밝힌다(Anthropic, 2026).[2]

Perplexity는 PerplexityBot이 검색 결과에 사이트를 노출하는 용도이고 AI 기반 모델용 수집에는 쓰이지 않는다고 적었다. Perplexity-User는 사용자 질문에 답하려고 페이지를 방문하는 페처이며 robots.txt 규칙을 대체로 무시한다고 명시했다. 변경 반영에는 최대 24시간이 걸릴 수 있다(Perplexity, 2026).[3]

구글은 Google-Extended를 독립된 제품 토큰으로 정의한다. 별도 HTTP 사용자 에이전트 문자열이 없고, 수집은 기존 구글 크롤러가 하며, 이 토큰은 수집분이 Gemini 모델 학습과 Gemini 앱, Vertex AI의 그라운딩에 쓰일지를 제어한다. 구글 검색 포함 여부와 순위 신호에는 영향이 없다고 문서에 쓰여 있다(Google, 2026).[4] 구글은 일반 크롤러가 자동 수집에서 robots.txt를 항상 따른다고 밝히는 반면[6], Google-Agent를 포함한 사용자 트리거 페처는 사용자가 요청한 조회라 robots.txt를 대체로 무시한다고 별도 문서에서 밝힌다(Google, 2026).[5]

왜 유형을 나눠야 하나, 원인과 영향

차단 사고는 대부분 User-agent: * 한 줄에서 시작한다. 학습을 막을 생각으로 전체 차단을 걸면 학습용과 함께 검색 색인용도 같이 막힌다. 영향은 엔진마다 다르게 나타난다. OpenAI는 OAI-SearchBot을 막은 사이트가 ChatGPT 검색 답변에 나오지 않는다고 밝혔으니, 학습 거부 의도가 곧 ChatGPT 검색 인용 포기로 이어진다.[1]

반대 방향의 착각도 흔하다. 세 회사 봇을 이름으로 모두 막았으니 AI가 페이지를 못 읽는다고 판단하는 경우다. OpenAI와 Perplexity는 사용자 요청형에 robots.txt가 적용되지 않을 수 있다고 이미 밝혔고[1][3], 구글 사용자 트리거 페처도 같은 입장이다.[5] 표준 문서인 RFC 9309 역시 robots.txt 규칙이 접근 권한 통제 수단이 아니라고 명시한다(IETF, 2022).[7] 사용자 요청형까지 막아야 하는 사이트라면 로그인, 서버 응답 코드, WAF 규칙처럼 robots.txt 바깥의 수단을 써야 한다. CDN과 WAF 기본값이 이 봇들을 어떻게 다루는지는 CDN, WAF 기본 설정 AI 크롤러 점검 체크리스트에서 따로 점검한다.

GEO 관점에서 남는 결론은 단순하다. AI 검색 인용을 원하면 검색 색인용 봇 세 개는 열어 둬야 하고, 학습 거부는 학습용 봇 이름과 Google-Extended로만 건다. 이 둘은 서로 충돌하지 않는다. AI 검색 인용이 왜 중요한지는 GEO란 무엇인가에, 시장 전체 흐름은 글로벌 GEO, AEO 지형도 2026에 정리돼 있다.

목표별 robots.txt 설정 방법

목표학습용 (GPTBot, ClaudeBot)검색 색인용 (OAI-SearchBot, Claude-SearchBot, PerplexityBot)사용자 요청형 (ChatGPT-User, Claude-User, Perplexity-User)Google-Extended
AI 노출 최대화허용허용허용허용
학습 거부, 검색 인용 유지차단허용허용차단
AI 전면 거부차단차단robots.txt만으로 부족, 서버 조치 병행차단

"학습 거부, 검색 인용 유지"가 대다수 브랜드 사이트에 맞는 기본값이다. 아래 예시는 그 설정이다.

# 학습용 차단
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 검색 색인용 허용
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 사용자 요청형 허용
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

적용 순서는 다음과 같다.

  1. 현재 파일 확인: 사이트 루트의 /robots.txt를 열어 User-agent: * 그룹에 Disallow: /가 있는지 본다. 앤트로픽은 서브도메인마다 robots.txt를 따로 둬야 한다고 안내한다.[2]
  2. 이름별 그룹 작성: 위 예시처럼 봇 이름마다 그룹을 둔다. 이름을 적은 그룹이 있으면 해당 봇은 그 그룹을 따른다(IETF, 2022).[7]
  3. 반영 대기: OpenAI와 Perplexity 기준 최대 약 24시간을 기다린다.[1][3]
  4. 서버 로그 대조: 접속 IP를 운영사가 공개한 IP 목록과 비교해 사칭 봇을 걸러낸다. OpenAI는 봇별 IP 목록 JSON을, 앤트로픽은 봇 IP 목록을 공개한다.[1][2]
  5. 렌더링 점검: 허용해도 본문이 자바스크립트로만 그려지면 봇이 읽지 못한다. 자바스크립트 렌더링과 AI 크롤러 사각지대에서 원문 HTML 노출 여부를 확인한다.

새로 나온 공통 학습 거부 토큰 __usage_ai-training은 회사별 이름을 대신하는 용도 토큰이다. 문법과 회사별 적용 시점은 robots.txt AI 학습 차단 공통 토큰 정리에, 허용과 차단의 가시성 트레이드오프는 AI 크롤러 관리 가이드에 있다. 클라우드플레어처럼 인프라 단에서 기본 차단이 걸리는 경우는 클라우드플레어 AI 크롤러 기본 차단과 GEO 영향을, 구글 AI 기능 옵트아웃은 구글 AI 모드 퍼블리셔 옵트아웃 전략을 함께 본다.

정리

AI 크롤러는 학습용, 검색 색인용, 사용자 요청형 세 갈래이고 Google-Extended는 크롤러가 아니라 제어 토큰이다. 학습용과 검색 색인용은 운영사가 robots.txt 준수를 명시했지만, 사용자 요청형은 회사마다 다르다. ChatGPT-User와 Perplexity-User는 적용되지 않을 수 있고 Claude-User는 차단 시 조회가 멈춘다고 안내돼 있다. 검색 인용을 지키면서 학습만 거부하려면 GPTBot, ClaudeBot, Google-Extended만 이름으로 막고 나머지는 열어 두면 된다. 그 뒤 24시간을 기다려 서버 로그로 실제 동작을 확인한다.

자주 묻는 질문

Q.GPTBot과 OAI-SearchBot은 무엇이 다른가요?
GPTBot은 OpenAI 생성형 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 노출하기 위해 수집합니다. 두 설정은 서로 독립적이어서 GPTBot만 막고 OAI-SearchBot은 허용할 수 있습니다(OpenAI, 2026).
Q.ChatGPT-User를 robots.txt로 막으면 ChatGPT가 우리 페이지를 못 여나요?
보장되지 않습니다. OpenAI는 ChatGPT-User가 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. 또 ChatGPT-User는 검색 노출 여부를 판단하는 데 쓰이지 않습니다(OpenAI, 2026).
Q.Claude-User도 robots.txt를 무시하나요?
앤트로픽 안내는 다릅니다. 앤트로픽은 자사 봇이 robots.txt 지시를 따른다고 밝히고, Claude-User를 막으면 사용자가 Claude에 질문할 때 해당 사이트 콘텐츠를 가져오지 못해 사용자 주도 검색 노출이 줄 수 있다고 안내합니다(Anthropic, 2026).
Q.Google-Extended를 막으면 구글 검색에서 빠지나요?
아닙니다. 구글은 Google-Extended가 구글 검색 포함 여부에 영향을 주지 않고 검색 순위 신호도 아니라고 밝힙니다. 이 토큰은 Gemini 모델 학습과 Gemini 앱, Vertex AI의 그라운딩 사용을 제어합니다(Google, 2026).
Q.PerplexityBot을 막으면 Perplexity 답변에서 완전히 사라지나요?
PerplexityBot 차단은 검색 결과 노출 경로를 닫지만, Perplexity-User는 사용자가 질문할 때 페이지를 방문하며 robots.txt를 대체로 무시한다고 Perplexity가 밝히고 있어 페이지 조회가 계속될 수 있습니다(Perplexity, 2026).
Q.robots.txt를 바꾸면 언제 반영되나요?
OpenAI는 검색 쪽 반영에 약 24시간, Perplexity는 최대 24시간이 걸릴 수 있다고 안내합니다. 표준 문서 RFC 9309도 캐시한 robots.txt를 24시간 넘게 쓰지 않도록 권고합니다(OpenAI, 2026; Perplexity, 2026; IETF, 2022).

출처 및 참고 자료

  1. [1] ↑Overview of OpenAI Crawlers — OpenAI
  2. [2] ↑Does Anthropic crawl data from the web, and how can site owners block the crawler? — Anthropic
  3. [3] ↑Perplexity Crawlers — Perplexity
  4. [4] ↑Google's common crawlers — Google Search Central
  5. [5] ↑Google's user-triggered fetchers — Google Search Central
  6. [6] ↑Overview of Google crawlers and fetchers — Google Search Central
  7. [7] ↑RFC 9309: Robots Exclusion Protocol — IETF

이 문서는 2026년 11월 20일에 마지막으로 편집되었습니다. WikiAP의 콘텐츠는 공개된 출처를 근거로 작성되며, 정확성을 위해 지속적으로 갱신됩니다.