# robots.txt — Webagentur Scherzinger
#
# Diese Datei wird als Template gerendert, damit der Sitemap-Verweis aus
# SITE_URL kommt und nicht getippt ist. Ein Sitemap-Verweis auf die falsche
# Domain ist der teuerste Tippfehler in dieser Datei: Google folgt ihm nicht,
# meldet aber auch nichts.
#
# Ausgeliefert werden muss sie mit content_type="text/plain; charset=utf-8".

User-agent: *
Allow: /

# Hier steht bewusst KEIN Disallow.
#
# Nicht für die Verwaltung: Deren Pfad ist absichtlich nicht /admin/, damit die
# automatischen Scans ins Leere laufen. Ihn hier hinzuschreiben wäre eine
# Wegbeschreibung — robots.txt ist die erste Datei, die ein Scanner liest.
#
# Und nicht für /impressum/ und /datenschutz/: Die beiden tragen ein noindex im
# Kopf, und das ist die stärkere Anweisung. Eine per robots.txt gesperrte Seite
# kann Google gar nicht erst lesen — es sieht das noindex dann nie und listet
# die URL trotzdem, nur ohne Snippet. Genau das Gegenteil dessen, was gemeint
# war.

# ── KI-Crawler: ausdrücklich erlaubt ────────────────────────────────────────
#
# Das ist hier keine Nachlässigkeit, sondern Geschäftsgrundlage. Diese Agentur
# verkauft GEO — Sichtbarkeit in KI-Antwortsystemen. Eine Website, die den
# Crawlern dieser Systeme den Zugang verwehrt, kann in ihren Antworten nicht
# zitiert werden und widerlegt damit ihr eigenes Angebot.
#
# Die Einträge stehen einzeln da, obwohl "User-agent: *" sie bereits abdeckt.
# Grund: Wer später ein Disallow in den Stern-Block schreibt, sperrt sonst
# unbeabsichtigt alle Antwortmaschinen mit. Ein eigener Block je Crawler ist
# die Aussage, die gemeint ist — und sie bleibt stehen, wenn oben etwas
# geändert wird.

# OpenAI. Die drei Kennungen haben verschiedene Aufgaben, und die Unterschiede
# entscheiden darüber, ob ein Eintrag Besucher bringt oder nur Text abgibt:
#
#   GPTBot         sammelt Inhalte, die ins Training der Modelle eingehen
#                  können. Bringt keine Besucher. Hier erlaubt, weil ein Modell,
#                  das die Seite kennt, sie auch nennen kann — das ist eine
#                  Abwägung, keine Selbstverständlichkeit.
#   OAI-SearchBot  baut den Index für die Suche in ChatGPT. Das ist der Eintrag,
#                  der Besucher bringt; ihn zu sperren wäre der teuerste Fehler
#                  in dieser Datei.
#   ChatGPT-User   ruft eine Seite ab, weil ein Nutzer gerade danach gefragt
#                  hat. Laut OpenAI gelten robots.txt-Regeln dafür unter
#                  Umständen nicht — der Eintrag ist also eher eine Absicht.
#
# ⚠ Die ersten beiden Beschreibungen standen hier bis zum 01.09.2026 vertauscht.
# Aufgefallen ist es erst beim Gegenlesen gegen /ratgeber/was-ist-geo/, wo
# dieselbe Tabelle steht. Wer sie ändert, ändert beide Stellen.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic — Claude. Dieselbe Dreiteilung wie bei OpenAI:
# ClaudeBot sammelt für Training, Claude-SearchBot baut den Suchindex (das ist
# der, der Besucher bringt), Claude-User ruft auf Nachfrage eines Nutzers ab.
# `Claude-Web` und `anthropic-ai` sind Altbezeichnungen; sie bleiben stehen,
# weil sie nichts kosten und ältere Abrufer sie noch senden.
User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Common Crawl — Datengrundlage vieler Modelle
User-agent: CCBot
Allow: /

# Google-Extended steuert Training und Grounding in Gemini und einigen anderen
# Google-Systemen — ausdrücklich NICHT das Erscheinen in den AI Overviews oder
# im AI Mode. Das läuft über den normalen Googlebot und die üblichen Schalter
# (`noindex`, `nosnippet`); Google schreibt das so in seiner Dokumentation.
#
# ⚠ Hier stand bis zum 01.09.2026 das Gegenteil („ein Disallow hier kostet
# Sichtbarkeit in den AI Overviews"). Das war falsch und hätte bei einem Kunden,
# der aus guten Gründen kein Training will, zur falschen Entscheidung geführt.
User-agent: Google-Extended
Allow: /

# Microsoft Copilot
User-agent: bingbot
Allow: /

# Apple Intelligence / Siri
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# ── Verweise ────────────────────────────────────────────────────────────────
# Absolut, wie die Spezifikation es verlangt — ein relativer Pfad wird
# ignoriert.
Sitemap: https://webagentur-scherzinger.com/sitemap.xml