크롤러

관련 문서 1건.

GPTBot·OAI-SearchBot·ClaudeBot·PerplexityBot·Google-Extended를 식별하고 robots.txt로 허용/차단할 때의 가시성 트레이드오프를 OpenAI·구글 공식 문서 기준으로 정리한다.