# robots.txt per configuratore3d.com
# Crawler generici (motori di ricerca) - accesso consentito
User-agent: *
Allow: /
Disallow: /cgi-bin/

# ---------------------------------------------------
# COMMON CRAWL
# Alimenta molti dataset di training AI open-source: bloccato
# ---------------------------------------------------
User-agent: CCBot
Disallow: /

# ---------------------------------------------------
# BOT AI - TRAINING (raccolgono contenuti per addestrare modelli)
# Bloccati: non si vuole cedere contenuto per training senza controllo
# ---------------------------------------------------
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# ---------------------------------------------------
# BOT AI - RISPOSTA IN TEMPO REALE (recuperano pagine per rispondere
# a query utente, es. citazioni in ChatGPT/Perplexity)
# Consentiti: utile per visibilita' del brand nelle risposte AI
# ---------------------------------------------------
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

# ---------------------------------------------------
Sitemap: https://configuratore3d.com/sitemap.xml