# Xchemi GEO：正式站开放 HTML 内容页；静态资源目录不单独拦截（利于图片理解与完整渲染）
# 测试环境请由运维单独部署 Disallow: /

# 通用规则（未在下面单独列出的爬虫均适用，含 Baiduspider、Sogou、360Spider 等）
User-agent: *
Allow: /
Disallow: /components/

# 站点地图（搜索引擎发现 URL）
Sitemap: https://www.xchemi.com/sitemap_index.xml

# 机器可读站点说明（GEO / LLM）：建议在根路径提供 https://www.xchemi.com/llms.txt

# ---------------------------------------------------------------------------
# AI / 研究类爬虫：与通用规则保持一致（含 Disallow: /components/）
# 不设限频、不验证码由网关层配置；此处明确允许抓取公开页
# ---------------------------------------------------------------------------
User-agent: GPTBot
Allow: /
Disallow: /components/

User-agent: ChatGPT-User
Allow: /
Disallow: /components/

User-agent: OAI-SearchBot
Allow: /
Disallow: /components/

User-agent: Google-Extended
Allow: /
Disallow: /components/

User-agent: anthropic-ai
Allow: /
Disallow: /components/

User-agent: Claude-Web
Allow: /
Disallow: /components/

User-agent: ClaudeBot
Allow: /
Disallow: /components/

User-agent: PerplexityBot
Allow: /
Disallow: /components/

User-agent: CCBot
Allow: /
Disallow: /components/

User-agent: Bytespider
Allow: /
Disallow: /components/

User-agent: Applebot-Extended
Allow: /
Disallow: /components/

User-agent: Meta-ExternalAgent
Allow: /
Disallow: /components/

User-agent: Amazonbot
Allow: /
Disallow: /components/