검색용 AI 봇과 학습용 봇, robots.txt에서 따로 봐야 하는 이유
ChatGPT·Claude·Perplexity의 검색용 크롤러와 학습·사용자 요청용 에이전트는 역할이 다릅니다. 공식 문서 기준으로 구분해 설정하세요.
Allyeo.AI 대시보드 기반 일러스트
AI 서비스의 봇을 하나로 묶어 차단하거나 허용하면 의도와 다른 결과가 생길 수 있습니다. OpenAI는 검색 결과 노출용 OAI-SearchBot과 학습용 GPTBot을 별도로 운영하며, 두 설정은 독립적이라고 안내합니다.
Anthropic도 검색 색인용 Claude-SearchBot, 모델 개선용 ClaudeBot, 사용자 요청으로 동작하는 Claude-User를 구분합니다. Perplexity 역시 검색 결과용 PerplexityBot과 사용자 요청용 Perplexity-User를 따로 설명합니다.
실무에서 먼저 확인할 순서
현재 robots.txt에서 검색용 봇과 학습용 봇을 같은 규칙으로 처리하고 있는지 확인합니다.
공개를 원하지 않는 경로는 서비스별 공식 user-agent와 적용 범위를 확인한 뒤 개별 규칙으로 관리합니다.
허용했다고 검색 노출이나 인용이 보장되지는 않습니다. 접근 가능 여부를 확인한 뒤 실제 응답과 인용 URL을 같은 조건으로 재측정해야 합니다.
SOURCE CHECK
이 글에서 확인한 공식 문서
OAI-SearchBot, GPTBot, ChatGPT-User의 목적과 robots.txt 제어 방식을 구분합니다.
ClaudeBot, Claude-User, Claude-SearchBot의 용도와 개별 차단 방법을 설명합니다.
PerplexityBot과 Perplexity-User의 역할, robots.txt 적용 범위를 구분합니다.
공식 문서에 없는 Allyeo 권장사항은 실행 후 검증할 가설로 구분합니다. 크롤링 허용, 구조화 데이터, 콘텐츠 수정만으로 특정 AI 서비스의 노출·언급·인용을 보장하지 않습니다.
이 글의 내용을 Allyeo.AI에서 직접 확인해 보세요.
크롤링 감사 시작하기 →