robots.txt AI 학습 차단 공통 토큰 __usage_ai-training 뜻과 GEO 영향

"robots.txt에 __usage_ai-training 한 줄을 넣으면 무엇이 막히고, AI 검색 노출은 어떻게 되나." 2026년 10월 30일 OpenAI, 구글, 마이크로소프트, 앤트로픽 네 회사가 AI 학습 거부를 표시하는 공통 robots.txt 토큰을 지원하겠다고 밝히면서 생긴 질문이다(AI Weekly, 2026).^[5] 지금까지 사이트 운영자는 GPTBot, Google-Extended처럼 회사마다 다른 이름을 하나씩 적어야 했다. 결론부터 적는다. 이 토큰은 학습 용도만 다루고, 검색 색인과 AI 답변 그라운딩은 건드리지 않는다. 설정을 제대로 하면 학습은 거부하고 AI 답변 인용 경로는 그대로 둘 수 있다. 반대로 와일드카드 그룹에 기대거나 크롤러 차단과 혼동하면 의도와 다른 결과가 나온다. 이 글은 토큰의 정확한 뜻, 회사별 적용 시점, GEO 관점의 영향, 오늘 robots.txt에서 바꿀 줄을 한 페이지에 정리한다.

30초 정의

• **__usage_ai-training**은 robots.txt의 User-Agent 줄에 쓰는 용도 토큰으로, 특정 경로의 콘텐츠를 AI 학습에 쓰는 데 대한 선호를 표시한다(IETF 초안, 2026).^[1]
• **AI 학습(AI Training)**은 콘텐츠를 사용해 생성형 AI 모델의 학습된 파라미터를 바꾸는 행위로, AIPREF 어휘 초안의 정의를 따른다(IETF 초안, 2026).^[1]
• Machine-Readable Training Preference Signal은 이 토큰을 정의한 IETF 개인 초안으로, 앤트로픽의 Kevin Kelley가 2026년 10월 30일 제출했고 2027년 5월 3일 만료된다(IETF, 2026).^[1]
• Google-Extended는 구글이 크롤링한 콘텐츠를 Gemini 학습과 그라운딩에 쓸지 정하는 robots.txt 제어 토큰으로, 구글 검색 노출과 순위에는 영향을 주지 않는다(Google, 2026).^[2]
• **그라운딩(grounding)**은 질문 시점에 검색 색인 콘텐츠를 모델에 넣어 답변을 만드는 단계로, 학습과 별개로 제어된다(Google, 2026; Search Engine Roundtable, 2026).^[2][4]

__usage_ai-training 문법, 한 그룹이면 끝난다

초안은 새 지시어나 새 문법을 추가하지 않는다. 기존 robots.txt 그룹의 User-Agent 자리에 크롤러 이름 대신 용도 토큰을 쓰고, Disallow와 Allow의 경로 규칙과 가장 긴 경로 우선 원칙은 RFC 9309를 그대로 따른다(IETF 초안, 2026).^[1] 초안의 예시는 아래와 같다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 세 줄은 사이트 전체에 학습 거부를 표시하되 /press-kit/ 경로만 학습 허용으로 남긴다는 뜻이다(IETF 초안, 2026).^[1] 구현에서 실수가 잦을 지점은 세 곳이다.

1. 토큰은 대소문자만 무시하고 글자 그대로 일치해야 한다. 밑줄 두 개를 빠뜨리면 다른 이름이 된다(IETF 초안, 2026).^[1]
2. User-agent: * 그룹은 이 토큰과 매칭되지 않는다. 와일드카드에 Disallow를 적어 둔 사이트도 토큰 그룹을 따로 써야 한다(IETF 초안, 2026).^[1]
3. 한 그룹에 여러 토큰을 함께 적을 수 있고, 회사별 크롤러 이름과 섞어도 된다. 크롤러는 자기 이름 규칙을 RFC 9309대로 계속 적용한다(IETF 초안, 2026).^[1]

선호 판단의 기준은 콘텐츠를 가져온 시점에 유효했던 robots.txt다(IETF 초안, 2026).^[1] 그래서 오늘 토큰을 넣어도 이미 수집돼 기존 데이터셋과 학습된 모델에 들어간 콘텐츠는 빠지지 않는다(Martin Cid Magazine, 2026).^[6]

회사별 지원 시점과 별도 제어 비교

네 회사가 모두 지원을 밝혔지만 시점과 기존 제어 수단은 다르다. 아래 표는 2026년 11월 2일 기준 공개 자료로 확인한 내용이다.

앤트로픽은 발표 시점에 구현을 시작했고 전 서비스 적용에는 시간이 걸린다고 밝혔다(Martin Cid Magazine, 2026).^[6] OpenAI는 "향후 수개월" 안에 구현하겠다고만 했고, 이 신호를 보안 통제가 아니라 조정 수단으로 설명했다(AI Weekly, 2026).^[5] OpenAI 문서는 OAI-SearchBot과 GPTBot 설정이 서로 독립적이라고 적고, OAI-SearchBot은 허용하고 GPTBot은 차단하는 설정 예시를 든다(OpenAI, 2026).^[3] 구글은 이 토큰을 2027년 초에 지원할 계획이라고 크롤러 문서에 명시했다(Google, 2026).^[2] 또 Google-Extended를 따로 적지 않고 토큰만 쓴 사이트는 Google-Extended 차단으로 취급하며, 이는 Gemini 학습에만 해당하고 구글 검색 노출은 유지된다(Martin Cid Magazine, 2026).^[6]

마이크로소프트가 가장 세분화돼 있다. 빙은 AI Training, AI Grounding, Limited Grounding 세 설정을 두고, Limited Grounding은 자사 AI 제품에만 콘텐츠 사용을 허용하고 제3자 그라운딩 서비스는 제외한다(Search Engine Roundtable, 2026).^[4] 일정은 2026년 12월 15일 빙 웹마스터 도구의 임시 그라운딩 설정 제공, 2027년 2월 1일 크롤링분부터 새 선호 반영, 2027년 3월 1일 기존 NoArchive, NoCache 사용자 전환 마감, 2027년 9월 30일 임시 그라운딩 설정 만료 순이다(Search Engine Roundtable, 2026).^[4] 보도 기준으로, 기존 NoArchive, NoCache 사용자가 3월 1일까지 새 설정으로 옮기지 않으면 기존 제한이 유지되지 않을 수 있다(Search Engine Roundtable, 2026).^[4]

한 가지 주의할 점이 있다. 마이크로소프트 날짜 일부는 2차 보도에 기댄 것이고(구글 시점은 크롤러 문서로 확인된다), 회사별 구현 시점이 달라 2027년 대부분 기간에 준수 수준이 고르지 않을 수 있다는 지적이 있다(DEV Community, 2026).^[7] 메타는 준수 여부를 밝히지 않았다(Martin Cid Magazine, 2026).^[6]

학습 차단이 GEO, AI 답변 인용에 미치는 영향

GEO 관점의 답은 "학습 토큰과 인용은 다른 스위치"다. AI 답변이 우리 페이지를 출처로 링크하는 경로는 검색 색인과 그라운딩이다. 이 경로는 OAI-SearchBot, Googlebot, 빙 AI Grounding 설정이 따로 결정한다(OpenAI, 2026; Google, 2026; Search Engine Roundtable, 2026).^[3][2][4] 토큰은 수집을 막는 규칙도 아니다. 초안은 이것을 크롤링 지시가 아닌 콘텐츠 사용 선호로 정의한다(IETF 초안, 2026).^[1] 봇은 여전히 페이지를 가져갈 수 있고, 가져간 뒤 학습에 쓰지 말라는 선호만 전달된다.

마이크로소프트는 그라운딩을 거부하면 빙, Copilot, Microsoft 365 답변에서 사이트 노출이 크게 줄 수 있다고 설명했다(Martin Cid Magazine, 2026).^[6] OpenAI도 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 적었다(OpenAI, 2026).^[3] 학습을 거부할지 말지는 사업 판단이다. 다만 인용을 지키려는 사이트라면 학습 거부를 검색 크롤러 차단으로 구현하는 실수만은 피해야 한다. 같은 혼동은 클라우드플레어 AI 크롤러 기본 차단에서도 혼합 목적 크롤러 문제로 나타났다.

한계도 분명하다. robots.txt는 접근 권한을 막는 보안 장치가 아니며 규칙을 지키는 크롤러에만 효력이 있다(RFC Editor, 2022).^[8] 근거 문서는 개인 초안이라 IETF 표준 절차에서 공식 지위가 없다(IETF, 2026).^[1] 정식 표준이 되려면 IETF AI Preferences 워킹그룹을 통과해야 한다(Martin Cid Magazine, 2026).^[6]

실행, robots.txt 점검 5단계

5단계의 인용 추적은 서버 로그만으로는 부족하다. 엔진별 답변에서 우리 도메인이 몇 번 인용되는지 반복해서 확인해야 학습 설정 변경이 인용에 영향을 줬는지 가려진다. 이 작업에는 Profound, Otterly.ai 같은 글로벌 도구나, 한국어 답변을 추적하는 BOIDA 등 국내 도구가 이 용도로 쓰인다. 크롤러별 허용 정책 전반은 AI 크롤러 관리 가이드에, 구글 AI 모드 쪽 선택지는 구글 AI 모드 퍼블리셔 옵트아웃 전략에서 다룬다.

정리

__usage_ai-training은 회사마다 달랐던 학습 거부 표시를 robots.txt 한 그룹으로 합치는 토큰이다(IETF 초안, 2026).^[1] 학습만 다루고 검색 색인과 그라운딩은 손대지 않으므로, 제대로 쓰면 AI 답변 인용을 잃지 않고 학습을 거부할 수 있다. 적용 시점은 회사별로 2027년까지 갈리고, 이미 학습된 데이터에는 소급되지 않는다. 지금 할 일은 토큰 그룹을 추가하되 기존 크롤러 규칙을 지우지 않는 것, 그리고 와일드카드 차단으로 인용 경로까지 닫지 않았는지 확인하는 것이다. GEO의 기본 개념은 GEO란 무엇인가에서, 시장 전체 흐름은 2026 글로벌 GEO, AEO 지형도에서 이어진다. 사이트 구조 신호와의 관계는 llms.txt 완벽 가이드와 국내 블로그 플랫폼 AI 크롤러 정책을 함께 참고하면 된다.