# robots.txt für starcitizen-freefly.de
# Letzte Aktualisierung: 2025-05-28

# Erlaube spezifische KI-Crawler
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Blockiere bestimmte KI-Crawler
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Allgemeine Regeln für alle anderen Crawler
User-agent: *
Allow: /
Allow: /llms.txt
Allow: /robots.txt
Disallow: /*.txt$
Disallow: /*?tag=*&page=*
Sitemap: https://www.starcitizen-freefly.de/sitemap.xml

# Wichtige Ressourcen explizit erlauben
Allow: /style.css
Allow: /*.css$
Allow: /*.js$
Allow: /*.jpg$
Allow: /*.png$
Allow: /*.webp$
Allow: /*.avif$