# robots.txt für mars-solutions.de
# Ziel: SEO-Optimierung & kontrollierter Zugriff für KI- und Suchmaschinen-Crawler
# Erstellt am 11.11.2025

# Allgemeine Regeln
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /comments/
Disallow: /*?s=
Disallow: /?s=
Disallow: /wp-json/
Disallow: /?rest_route=

# Sitemap-Hinweis (für SEO unerlässlich)
Sitemap: https://www.mars-solutions.de/sitemap_index.xml

# Erlaubte Bots (Suchmaschinen & KI-Crawler)
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

# Unerwünschte Bots & Scraper blockieren
User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: dotbot
Disallow: /

# Hinweis: mars solutions erlaubt ausschließlich KI- und SEO-Bots,
# die für Indexierung und Content-Analyse im Sinne von Suchmaschinenoptimierung
# und Informationsdarstellung genutzt werden. Jegliches Scraping ist untersagt.