# BQE Robots.txt
# https://bqe.kr/robots.txt

# ─────────────────────────────────────────────────────
# 검색 엔진 크롤러 (Allow all by default)
# ─────────────────────────────────────────────────────
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Yeti
Allow: /
Crawl-delay: 1

User-agent: Daumoa
Allow: /
Crawl-delay: 1

# ─────────────────────────────────────────────────────
# AI 검색 크롤러 (실시간 인용) — 모두 명시적 허용
# 차단 시 ChatGPT/Claude/Perplexity/AI Overviews 노출 0
# ─────────────────────────────────────────────────────
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# AI 학습 크롤러 — 정책상 허용 (Entity 인식에 결정적)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Applebot
Allow: /

# CCBot(Common Crawl) — 다수 LLM 학습/인용 데이터 소스 → AI 노출·엔티티 인식에 유리하므로 허용
User-agent: CCBot
Allow: /

# Amazonbot(Alexa/AI) — 허용
User-agent: Amazonbot
Allow: /

# ─────────────────────────────────────────────────────
# 차단 (성능 부담 + 가치 낮음 + 스팸 봇)
# ─────────────────────────────────────────────────────
User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

# ─────────────────────────────────────────────────────
# 모든 봇 공통: 비공개·인증 영역 차단 + 정적 자산 허용
# (User-agent: * 블록은 반드시 하나만 존재해야 파서 혼선 없음)
# ─────────────────────────────────────────────────────
User-agent: *
Allow: /
Allow: /sitemap.xml
Allow: /robots.txt
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.svg$
Allow: /*.xml$
Allow: /*.webp$
Allow: /*.avif$
Allow: /*.woff$
Allow: /*.woff2$
Allow: /*.ttf$
Disallow: /admin/
Disallow: /api/
Disallow: /investment
Disallow: /all
Disallow: /risk-result
Disallow: /inbox
Disallow: /notifications
Disallow: /orders
Disallow: /limits
Disallow: /kb-onboarding
Disallow: /kb-callback
Disallow: /nice-callback
Disallow: /contract-form
Disallow: /screenshots
Disallow: /design
Disallow: /kb-test
Disallow: /kb-keypad.html
# ★ 2026-08-26 정정 — 아래 두 부류를 걷어냈다.
#
#   ① 추적 파라미터(utm_*·ref·fbclid·gclid)를 robots 로 막고 있었다. robots 로 막힌 URL 은
#      **가져올 수 없으므로 canonical 도 못 읽는다.** 그래서 구글은 그 URL 을 「robots.txt 에
#      의해 차단되었으나 색인됨」으로 남기고, 정본(파라미터 없는 URL)으로 합치지 못한다.
#      중복을 정리하는 도구는 robots 가 아니라 canonical 이다(S6). 모든 프리렌더 응답이
#      self-canonical 을 내보내므로 열어 두는 편이 맞다.
#
#   ② `Disallow: /*.json$` 가 **/manifest.json 을 막고 있었다.** 그 파일은 index.html 이
#      `<link rel="manifest">` 로 선언하는 파일이고, .well-known/assetlinks.json(TWA 검증)도
#      같은 규칙에 걸렸다. 선언해 놓고 못 읽게 막는 것은 그냥 고장이다(S17).
#      실측: https://bqe.kr/manifest.json 은 200 · application/manifest+json.
Disallow: /*?test=

# ─────────────────────────────────────────────────────
# Sitemap
# ─────────────────────────────────────────────────────
Sitemap: https://bqe.kr/sitemap.xml