크롤러

2026년 9월 15일 발효된 클라우드플레어의 Search, Agent, Training 3분류 기본값을 정리한다. 검색 크롤러는 기본 허용이지만 혼합 목적 크롤러 차단과 에이전트 차단이 AI 답변 인용을 끊는 실제 경로다.

국내 블로그 플랫폼 AI 크롤러 정책 비교 2026: 네이버 블로그, 티스토리, 브런치 robots.txt2026년 09월 11일

네이버 블로그는 GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot을 robots.txt로 전면 차단한다. 티스토리와 velog는 AI 크롤러 전용 규칙이 없고, 브런치는 학습 봇만 차단한다. 플랫폼별 robots.txt 원문과 그에 따라 달라지는 AI 검색 인용 가능성을 정리한다.

AI 크롤러는 자바스크립트를 실행하는가, CSR/SPA 콘텐츠 인용 누락 점검과 수정 방법2026년 09월 10일

GPTBot, ClaudeBot, PerplexityBot은 자바스크립트를 실행하지 않는다. CSR/SPA 콘텐츠가 AI 검색 인용에서 통째로 빠지는 이유와, curl 점검부터 SSR 전환까지의 수정 절차를 공식 문서 기준으로 정리한다.

ChatGPT, Perplexity, Google AI에서 경쟁사는 뜨는데 내 브랜드가 안 나오는 이유 5가지2026년 07월 30일

ChatGPT, Perplexity, Google AI 개요에서 경쟁사는 인용되는데 내 브랜드가 빠지는 원인을 크롤러 접근, 머신 가독성, 엔티티 인식, 서드파티 언급, 콘텐츠 구조의 5개 진단 항목으로 분석하고 단계별 해결 방법을 제시합니다.

AI 크롤러 관리, GPTBot, ClaudeBot, PerplexityBot 허용과 트레이드오프2026년 06월 06일

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended를 식별하고 robots.txt로 허용/차단할 때의 가시성 트레이드오프를 OpenAI, 구글 공식 문서 기준으로 정리한다.