# DEV prostředí — web zatím nesmí být indexován (globální Disallow níže platí pro
# všechny roboty včetně AI crawlerů; specifické AI sekce mají na DEV také Disallow).
# Na produkci:
#   1) v sekci "User-agent: *" nahradit "Disallow: /" řádkem "Disallow: /cgi-bin" (povolit vše),
#   2) v AI sekcích níže nahradit "Disallow: /" řádkem "Allow: /",
#   3) odkomentovat sitemap:
# Sitemap: https://costrad.cz/sitemap.xml
User-agent: *
Disallow: /

# --- AI crawlery (V2-F) -----------------------------------------------------
# Vyjmenované sekce zajišťují, že známé AI platformy (ChatGPT, Claude, Perplexity,
# Gemini, Amazon, Meta, Common Crawl, ByteDance) dostanou explicitní pravidlo.
# Na DEV zůstává Disallow; na produkci přepnout na "Allow: /" — web je pak plně
# AI friendly (přehled obsahu pro AI nabízí /llms.txt).
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Amazonbot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /