국내 블로그 플랫폼 AI 크롤러 정책 비교 2026: 네이버 블로그, 티스토리, 브런치 robots.txt

같은 글을 네이버 블로그에 쓸 때와 티스토리에 쓸 때, AI 검색이 그 글을 인용할 확률은 같지 않다. 차이는 문장력이나 정보량이 아니라 플랫폼이 도메인 루트에 올려 둔 텍스트 파일 한 개에서 갈린다. 국내 블로그 플랫폼의 robots.txt를 직접 열어 보면 세 갈래가 나온다. 전면 차단, 학습 봇만 차단, 무차단이다. 이 글은 네이버 블로그, 티스토리, 브런치, velog의 robots.txt 원문을 근거로 각 플랫폼에서 글이 AI 검색 인용 후보에 오르는지, 어느 관문에서 탈락하는지, 그리고 어디에 무엇을 쓸지를 한 페이지에서 정리한다.

30초 정의

• 학습 크롤러는 모델 학습에 쓸 웹 문서를 모으는 봇이다. GPTBot, ClaudeBot, CCBot, Google-Extended 토큰이 여기에 속한다^[7][8][10].
• AI 검색 크롤러는 답변에 붙일 출처 후보를 모으는 봇이다. OAI-SearchBot, Claude-SearchBot, PerplexityBot이 여기에 속한다^[7][8][9].
• 사용자 트리거 페처는 사용자가 질문하거나 URL을 지정한 순간에만 페이지를 여는 요청자다. ChatGPT-User, Claude-User, Perplexity-User가 여기에 속한다^[7][8][9].
• 플랫폼 robots.txt는 도메인 루트에 놓인 텍스트 파일로, 위 세 종류를 봇 이름 단위로 허용하거나 차단하는 규칙이다. 글쓴이가 아니라 플랫폼 운영사가 쓴다.

이 네 가지를 섞어 읽으면 "AI 차단"이라는 한 단어로 뭉개진다. 실제로는 학습만 막았는지, 검색 인용까지 막았는지에 따라 결과가 완전히 갈린다.

국내 블로그 플랫폼 AI 크롤러 정책 비교

"전용 규칙 없음"은 해당 봇 이름이 robots.txt에 등장하지 않아 User-agent: * 규칙이 적용된다는 뜻이다. 로봇 배제 표준에서 이름이 없는 봇은 기본적으로 허용된다.

근거, robots.txt 원문에서 확인되는 것

네이버 블로그 robots.txt에는 "BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED."라는 주석이 먼저 나오고, 그 아래에 GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot, Claude-SearchBot, meta-externalagent, Applebot-Extended, CCBot이 각각 Disallow: /로 지정돼 있다^[1]. 주석 문구가 학습과 RAG를 함께 지목한다는 점이 중요하다. 학습만 막은 것이 아니라 답변 생성 단계의 검색 인용까지 함께 막았다.

네이버 인플루언서도 AI 봇 차단 목록은 같다. 다만 위 주석 문구와 Yeti 차단 블록은 인플루언서 robots.txt에 없다^[6]. 네이버 카페는 한 단계 더 나아가 User-agent: *와 Googlebot, Bingbot까지 전부 Disallow: /로 닫는다^[5]. 네이버 블로그 robots.txt에는 자사 크롤러인 Yeti에 대한 Disallow: /도 들어 있다^[1]. 네이버가 왜 자사 크롤러까지 막아 두었는지는 공개 문서로 확인되지 않는다. 외부 AI 엔진에서 사라지는 것과 네이버 자체 검색, AI 브리핑에 노출되는 것은 별개 문제다.

브런치는 정반대 설계다. robots.txt 첫 블록이 "AI training crawlers"라는 주석 아래 GPTBot, ClaudeBot, anthropic-ai, Claude-Web, Google-Extended, meta-externalagent, FacebookBot, Bytespider, Amazonbot, CCBot, Applebot-Extended, cohere-ai, Diffbot, omgili, Timpibot, ImagesiftBot을 묶어 Disallow: /로 닫는다. 그 아래 "Other search engines and AI search assistants" 블록에서 bingbot, Applebot, DuckDuckBot, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot에는 /write, /library, /me/, /feed, /search 같은 관리, 피드 경로만 막고 글 본문 경로는 열어 둔다^[2]. 파일 상단에는 # Last updated: 2026-04-22라는 줄이 그대로 들어 있다^[2].

티스토리 블로그 서브도메인에서 받은 robots.txt의 내용은 /guestbook, /m/guestbook, /manage, /owner, /admin, /search, /m/search를 User-agent: *에서 제외하고 bingbot에 Crawl-delay: 20을 주는 것이 전부다. AI 크롤러 이름은 한 줄도 없다^[3]. velog는 User-agent: * 한 줄만 두고 규칙을 비워 둔 형태로, 역시 AI 크롤러 전용 차단이 없다^[4].

봇 이름 차단이 답변 인용에 직접 닿는 이유

엔진 제공사 문서는 봇의 역할을 직접 구분해 둔다. OpenAI는 GPTBot을 모델 학습용, OAI-SearchBot을 ChatGPT 검색 기능 노출용, ChatGPT-User를 사용자 질문 처리용으로 나누고, "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links."라고 적는다^[7]. 네이버 블로그의 OAI-SearchBot 차단은 곧 ChatGPT 검색 답변의 출처 목록에서 빠진다는 뜻이다.

Anthropic은 ClaudeBot을 학습 데이터 수집, Claude-SearchBot을 검색 결과 품질 개선, Claude-User를 사용자 질문 처리로 구분한다^[8]. Perplexity는 PerplexityBot을 "surface and link websites in search results on Perplexity"로 설명하고, Perplexity-User는 사용자가 요청을 일으켰기 때문에 robots.txt 규칙을 대체로 따르지 않는다고 밝힌다^[9]. 즉 robots.txt 차단은 자발적 인용 경로를 끊지만, 사용자가 링크를 직접 물고 들어오는 경로까지 끊지는 않는다.

구글 쪽은 오해가 잦다. 구글 문서는 Google-Extended에 대해 "Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search."라고 명시한다^[10]. Google-Extended는 Gemini 앱과 Vertex AI의 학습, 그라운딩 사용 여부를 제어하는 robots.txt 토큰이며 별도의 HTTP user agent 문자열도 없다^[10]. 네이버 블로그가 Google-Extended를 막았다고 해서 구글 검색 노출이 사라지는 것은 아니다.

플랫폼 선택이 실제로 바꾸는 것

첫째, robots.txt에 검색용 봇이 이름으로 막혀 있는 엔진에서는 네이버 블로그 문서가 출처 후보에 들어가지 않는다. 확인된 범위는 OAI-SearchBot, PerplexityBot, Claude-SearchBot이다^[1][7][8][9]. 브랜드명을 물었을 때 ChatGPT나 Perplexity가 끌어오는 한국어 문서가 뉴스, 커뮤니티, 기업 자체 사이트로 몰리는 현상은 여기서 시작된다.

둘째, 브런치에 쓴 글은 학습 데이터에서는 빠지지만 답변 출처로는 살아남는다. 학습 거부와 인용 확보를 동시에 원하는 운영자에게는 이 조합이 목표에 가깝다.

셋째, 티스토리와 velog는 크롤러 관문을 통과한 뒤 두 번째 관문에서 승부가 난다. robots.txt가 열려 있어도 원본 HTML에 본문이 없으면 인용 후보가 되지 못한다. 이 문제는 자바스크립트 렌더링과 AI 크롤러 사각지대에서 따로 다룬다.

넷째, 네이버 블로그의 값은 다른 곳에 있다. 위 robots.txt 규칙은 외부 크롤러를 향한 것이고, 네이버 자체 검색과 AI 브리핑이 자사 블로그를 어떻게 다루는지는 이 파일로 알 수 없다. 국내 검색 유입 자산으로서의 가치는 별도로 판단할 문제다. 채널을 하나로 합치려는 시도가 문제이지, 네이버 블로그 운영 자체가 문제는 아니다. 국내 검색과 AI 응답을 함께 다루는 방법은 네이버 SEO, GEO 통합 운영 가이드에 정리돼 있다.

실행, 무엇을 어떻게 점검하나

1. 플랫폼 robots.txt를 직접 연다. curl -s https://<도메인>/robots.txt로 원문을 받아 봇 이름을 검색한다. 기사나 요약이 아니라 원문이 유일한 근거다. 플랫폼 정책은 예고 없이 바뀐다.
2. 학습 봇과 검색 봇을 나누어 판정한다. GPTBot, ClaudeBot, CCBot이 막혔는지와 OAI-SearchBot, PerplexityBot, Claude-SearchBot이 막혔는지는 다른 질문이다. 후자가 막혀 있으면 인용은 사실상 끝난다^[7][9].
3. 원본 HTML을 확인한다. curl -s <글 주소> | grep 으로 본문 문장, FAQ, JSON-LD가 응답에 들어 있는지 본다. 자바스크립트로만 그려지는 영역은 인용 후보에서 빠진다.
4. 원본은 자체 도메인, 플랫폼은 요약과 링크로 이원화한다. robots.txt를 직접 관리할 수 있는 도메인에 완결된 문서를 두고, 플랫폼에는 도달용 글을 둔다.
5. 엔진별 인용 여부를 반복 측정한다. 한 번의 질의는 표본이 아니다. 같은 질문을 여러 엔진에서 반복해 인용 도메인 분포를 기록한다. 비용을 들이지 않고 시작하려면 GEO 무료 진단 도구 비교의 셀프 스캔형 도구부터 돌려 본다.

인용 여부를 확인하는 방법 비교

표의 기능과 한계 칸은 각 사가 공개한 소개를 요약한 것이고, 상세는 링크한 회사 페이지에 정리돼 있다. 가격은 각 사 공개가 기준이며 변동한다. BOIDA는 디자이노블이 운영하는 브랜드이고, 제품명은 BVI다. 도구 선택의 기준은 가격이 아니라 진단 정확도와 기술 구현, 즉 어떤 엔진을 어떤 주기로 보고 그 결과를 스키마와 구조 수정으로 연결하는지다.

정리

국내 블로그 플랫폼의 AI 크롤러 정책은 세 갈래다. 네이버 계열은 학습과 검색 인용을 함께 닫았고^[1][5][6], 브런치는 학습만 닫고 인용을 열었으며^[2], 티스토리와 velog는 봇 이름을 따로 다루지 않는다^[3][4]. 글 품질을 올리기 전에 플랫폼이 어느 갈래에 있는지부터 확인하는 것이 순서다. 크롤러 종류별 허용, 차단 조합을 직접 설계하려면 AI 크롤러 관리 가이드를, 개념 정리가 필요하면 GEO란 무엇인가를 함께 본다.