User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/

# Sitemap
Sitemap: https://z.skewertech.cn/sitemap.xml

# Crawl-delay
Crawl-delay: 5

# ============================================================
# AI Crawler Strategy (2026-06-05)
# 策略：允许 AI 搜索/浏览爬虫 → 提升 AI 引用可见度
#       阻止 AI 训练爬虫 → 内容不用于模型训练
# ============================================================

# --- AI 搜索爬虫 (允许 — 提升 AI 引用) ---
User-agent: GPTBot                  # OpenAI 搜索
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

User-agent: OAI-SearchBot           # OpenAI Search 功能
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: ChatGPT-User            # ChatGPT 实时浏览
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: ClaudeBot               # Anthropic Claude 网络功能
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Claude-Web              # Claude Web 搜索
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: PerplexityBot           # Perplexity AI 搜索
Allow: /
Disallow: /api/
Disallow: /admin/

# --- AI 训练爬虫 (阻止 — 内容不用于模型训练) ---
User-agent: anthropic-ai            # Anthropic 模型训练
Disallow: /

User-agent: Google-Extended         # Gemini 模型训练 (不影响 Google 搜索)
Disallow: /

User-agent: CCBot                   # Common Crawl 训练数据集
Disallow: /

# --- 豆包 / 字节跳动 AI ---
User-agent: Doubao-SearchBot         # 豆包 AI 搜索（允许）
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Bytespider               # ByteDance 搜索索引（允许）
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

User-agent: ByteDance-SearchBot      # 字节跳动搜索爬虫
Allow: /
Disallow: /api/
Disallow: /admin/

# --- 千问 / 阿里通义 ---
User-agent: QwenBot                  # 千问 AI 搜索（允许）
Allow: /
Disallow: /api/
Disallow: /admin/

# --- AI 训练爬虫（阻止） ---
# 注意：上述搜索爬虫允许，仅阻止专用的训练爬虫
User-agent: anthropic-ai            # Anthropic 模型训练
Disallow: /

User-agent: Google-Extended         # Gemini 模型训练（不影响 Google 搜索）
Disallow: /

User-agent: CCBot                   # Common Crawl 训练数据集
Disallow: /

User-agent: ByteDance-TrainBot      # 字节跳动模型训练
Disallow: /

User-agent: Alibaba-TrainBot        # 阿里巴巴模型训练
Disallow: /