AI 크롤러 관리 — GPTBot·ClaudeBot·PerplexityBot 허용과 트레이드오프

생성형 검색에서 브랜드가 인용되려면, 먼저 AI 엔진의 크롤러가 페이지를 읽을 수 있어야 한다. 그런데 많은 사이트가 "AI가 우리 콘텐츠를 학습하는 게 싫다"는 이유로 robots.txt에서 AI 봇을 한꺼번에 막아버리고, 그 결과 검색 답변에서 인용될 기회까지 통째로 잃는다. AI 크롤러 관리의 핵심은 학습용 봇과 검색/인용용 봇을 구분해 선택적으로 허용·차단하는 것이다.

문제: "AI 차단"이 곧 "검색 인용 차단"이 되는 함정

AI 크롤러는 하나가 아니다. OpenAI 한 곳만 해도 모델을 학습시키는 GPTBot, ChatGPT 검색 답변을 만드는 OAI-SearchBot, 사용자가 직접 요청할 때 동작하는 ChatGPT-User로 역할이 나뉜다(OpenAI 문서 ↗).^[1] 이걸 모르고 User-agent: *로 모든 봇을 막으면, 학습뿐 아니라 검색 인용까지 동시에 끊긴다.

원인은 단순하다. 운영자가 봇 이름의 역할을 구분하지 않고 robots.txt를 작성하기 때문이다. 영향은 직접적이다 — ChatGPT·Perplexity가 답을 생성할 때 그 사이트는 인용 후보군에서 아예 제외되고, 경쟁사만 노출된다. 따라서 행동은 명확하다: 봇별 목적을 식별한 뒤, 가시성에 필요한 봇만 골라 허용해야 한다.

주요 AI 크롤러 식별 — 학습용 vs 검색/인용용

봇을 나누는 기준은 "이 봇이 차단되면 무엇을 잃는가"이다. 학습용 봇은 차단해도 검색 노출에 영향이 거의 없지만, 검색/인용용 봇은 차단하면 해당 엔진 답변에서 사라진다.

Anthropic은 학습용 ClaudeBot, 사용자 요청용 Claude-User, 검색 인덱싱용 Claude-SearchBot을 별도 user-agent로 문서화한다(ALM Corp ↗).^[3] 즉 "AI 학습은 싫지만 검색 인용은 받고 싶다"는 요구를 robots.txt에서 정밀하게 표현할 수 있다.

트레이드오프: 차단하면 인용 "원천"이 사라진다

가장 중요한 트레이드오프는 검색/인용용 봇 차단이다. OAI-SearchBot을 막으면 ChatGPT 검색 답변에 사이트가 등장하지 않고, 옵트아웃된 사이트는 답변에 피처링되지 않는다(OpenAI 문서 ↗).^[1] PerplexityBot·Claude-SearchBot도 마찬가지다. 인용은 봇이 읽은 페이지에서만 발생하므로, 봇을 막으면 인용의 원천 자체가 없어진다.

반대로 학습용 봇 차단은 비용이 낮다. Google-Extended는 사실 크롤러가 아니라 robots.txt 토큰으로, 제미나이·Vertex AI 학습 사용만 통제한다. 구글은 Google-Extended가 순위 신호가 아니라고 공식 확인했고, 차단해도 검색 순위와 AI Overviews 노출 자격은 유지된다(Google 크롤러 개요 ↗).^[2] GPTBot·ClaudeBot 차단도 검색 인용용 봇만 따로 허용하면 가시성 손실 없이 학습만 거를 수 있다.

다만 완전 차단은 보장되지 않는다. ChatGPT-User·Claude-User·Perplexity-User처럼 사용자가 직접 트리거하는 요청은 robots.txt를 따르지 않을 수 있다(Contently ↗).^[4] robots.txt는 "정중한 요청"이지 기술적 방화벽이 아니므로, 엄격한 차단이 필요하면 서버·WAF 단의 추가 조치를 병행해야 한다.

실무 robots.txt 예시 — "학습은 거부, 인용은 허용"

가시성을 최대화하면서 학습 사용만 거부하는 일반적인 패턴은 다음과 같다.

# 모델 학습용 봇 차단
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 검색/인용용 봇 허용
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 기본값(Googlebot 등 검색 크롤러 허용 유지)
User-agent: *
Allow: /

반대로 학습까지 모두 허용해 가시성을 극대화하려면 차단 블록을 비우면 된다. 어떤 전략이든 출발점은 같다 — 봇 이름과 목적을 정확히 식별한 뒤 의사결정하는 것이다. 이 robots.txt 설계는 기술 GEO의 기본기로, 기술 GEO와 콘텐츠 GEO 프레임워크에서 다루는 크롤 가능성 점검의 출발점이며, 접근 허용 이후에는 AI 인용 가능한 콘텐츠 구조와 함께 다뤄야 실제 인용으로 이어진다. ChatGPT 노출 점검은 ChatGPT 브랜드 가시성을 참고한다.

정리

AI 크롤러 관리의 본질은 "AI를 막느냐 마느냐"가 아니라 목적별로 분리해 제어하느냐다. GPTBot·ClaudeBot·Google-Extended 같은 학습용은 차단해도 검색 가시성 손실이 작지만, OAI-SearchBot·Claude-SearchBot·PerplexityBot 같은 검색/인용용을 막으면 해당 엔진 답변에서 인용 원천이 사라진다. 또한 사용자 트리거 봇은 robots.txt를 따르지 않을 수 있어, robots.txt는 차단의 만능 수단이 아니라 노출 전략의 첫 단추로 봐야 한다. 봇 이름을 식별하고, 학습과 인용을 분리하고, 필요한 봇만 허용하는 것 — 이 세 단계가 가시성과 데이터 통제를 동시에 잡는 길이다.