Regeln für KI-Suchbots
Geben Sie eine Domain oder vollständige HTTP/HTTPS-URL ein. Pfad und Abfrage bleiben erhalten; robots.txt wird vom Ursprung geladen. Eine passende botspezifische Gruppe hat Vorrang vor der Wildcard-Gruppe. Längere passende Regeln haben Vorrang; bei gleicher Spezifität gewinnt Allow. Bis zu fünf Weiterleitungen werden verfolgt.
KI-Suche
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Wenn Sie in der KI-Suche gefunden werden möchten, prüfen Sie die passende Disallow-Regel vor Änderungen. Dieser Test prüft nur robots.txt-Regeln. Er belegt keinen tatsächlichen Bot-Zugriff, keine Indexierung und keine Quellenangaben.
Modelltraining
GPTBot · ClaudeBot
Ein Trainingsbot kann absichtlich gesperrt sein. Das ist nicht automatisch ein SEO-Problem.
Nutzerinitiierte Besuche
ChatGPT-User: Bei nutzerinitiierten Besuchen gelten robots.txt-Regeln möglicherweise nicht.
Claude-User beachtet robots.txt bei nutzerinitiierten Besuchen.
Perplexity-User: Dieser Bot ignoriert robots.txt bei nutzerinitiierten Besuchen in der Regel.
Kontrollen zur Inhaltsnutzung
Google-Extended: Dies steuert die Inhaltsnutzung, keinen eigenen HTTP-Crawler und nicht die Google-Suche.
Quelle
Nicht verfügbare Antworten, ungültige Dokumente oder überschrittene Limits ergeben einen unbekannten Status. Bei einer fehlenden Datei mit Status 404 oder 410 wird keine robots.txt-Einschränkung angenommen. Die robots.txt-Antwort ist auf 512 KiB begrenzt.
Noindex-Check · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Prüfen Sie die URL, die gefunden werden soll
Prüfen Sie eine öffentliche Artikel- oder Produkt-URL, nicht nur die Startseite. Eine Freigabe für / kann neben einer Sperre für /private/ bestehen; das Ergebnis hängt vom angefragten Pfad ab. Prüfen Sie bei https://example.com/private/report/ die angewendete Gruppe und die passende Regel, bevor Sie die Sperre bewerten.
Der Bericht unterscheidet erlaubte, gesperrte und unbekannte Richtlinienergebnisse. Lesen Sie zuerst die Suchbot-Zeilen, wenn Inhalte auffindbar sein sollen. Eine grüne Gesamtsumme bedeutet weder Freigabe für alle Bot-Kategorien noch eine zugesicherte Erwähnung in Antworten.
Suche und Training getrennt entscheiden
Sie können OAI-SearchBot erlauben und GPTBot sperren. Beide Entscheidungen dienen unterschiedlichen Zwecken: Suchzugriff verlangt keine identische Behandlung aller Trainingsbots. Diese Unterscheidung gilt auch für andere benannte Bots. Bestätigen Sie den Zweck jedes User-Agents anhand seiner veröffentlichten Dokumentation.
Nach einer robots.txt-Änderung erneut prüfen
Ändern Sie die Regel am Origin der getesteten URL, veröffentlichen Sie sie und prüfen Sie dieselbe URL erneut. Testen Sie zusätzlich eine URL außerhalb des gesperrten Verzeichnisses, um zu weitreichende Änderungen zu erkennen. Behalten Sie beabsichtigte Sperren bei, statt alle Disallow-Zeilen zu entfernen.
Scheitert der Zugriff trotz erlaubender Richtlinie, prüfen Sie Authentifizierung, HTTP-Antworten und Serverbeschränkungen separat. Dieses Tool bestätigt diese Kontrollen nicht. Nutzen Sie den Bulk HTTP Status Checker für Antworten und den Noindex Checker für Indexierungsanweisungen.