# dealpick.kr robots.txt
# Cloudflare가 일부 봇에 대해 Content-Signal 기반 정책을 자동으로 prepend할 수 있음.
# 이 파일의 명시 규칙이 사용자(운영자)의 최종 의도이며, 가장 구체적인 매치 그룹의
# 첫 번째 규칙이 우선되도록 단일 그룹으로 통일.

User-agent: *
Allow: /
Sitemap: https://dealpick.kr/sitemap-index.xml

# ── 검색 엔진 (명시 허용) ──
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Bingbot
Allow: /

User-agent: NaverBot
Allow: /

User-agent: Yeti
Allow: /

User-agent: DaumBot
Allow: /

# ── AI 검색 표면 (명시 허용 — 검색 노출 목적) ──
# OpenAI 검색용 크롤러 (ChatGPT 검색 결과에 인용 노출)
User-agent: OAI-SearchBot
Allow: /

# ChatGPT 사용자가 직접 요청한 URL을 가져오는 봇 (사용자 발신)
User-agent: ChatGPT-User
Allow: /

# Anthropic Claude 검색 (claude.ai의 웹 검색)
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Perplexity 검색
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google AI Overviews / Gemini 검색용 (Google-Extended)
User-agent: Google-Extended
Allow: /

# Bing/Microsoft AI 표면
User-agent: msnbot-media
Allow: /

# Apple AI 검색
User-agent: Applebot
Allow: /

# ── AI 학습 (정책 결정 — 허용) ──
# 어필리에이트 사이트 특성상 LLM 학습 데이터에 포함되어도
# 인지·언급 기회로 작용. 차단을 원하면 아래 그룹들을 Disallow로 바꿀 것.
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: Amazonbot
Allow: /

# ── 명시 차단 (악성·과도 부하 봇) ──
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /