robots
관련 문서 3건.
2026년 9월 15일 발효된 클라우드플레어의 Search, Agent, Training 3분류 기본값을 정리한다. 검색 크롤러는 기본 허용이지만 혼합 목적 크롤러 차단과 에이전트 차단이 AI 답변 인용을 끊는 실제 경로다.
네이버 블로그는 GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot을 robots.txt로 전면 차단한다. 티스토리와 velog는 AI 크롤러 전용 규칙이 없고, 브런치는 학습 봇만 차단한다. 플랫폼별 robots.txt 원문과 그에 따라 달라지는 AI 검색 인용 가능성을 정리한다.
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended를 식별하고 robots.txt로 허용/차단할 때의 가시성 트레이드오프를 OpenAI, 구글 공식 문서 기준으로 정리한다.