Screpys AI Bot Access Tester prüft die robots.txt-Regeln einer genauen URL für neun benannte Bots oder Inhaltsnutzungskontrollen. Er trennt KI-Suche, Modelltraining und nutzerveranlasste Besuche, damit Sie die passende Regel beurteilen können. Das Ergebnis zeigt die veröffentlichte Richtlinie, nicht ob ein echter Bot die Seite erreicht, indexiert oder zitiert hat.
Testen Sie die genaue URL und ihren Ursprung
Geben Sie eine Domain oder vollständige öffentliche HTTP-/HTTPS-URL ein. Eine Domain prüft den Wurzelpfad; bei vollständigen Adressen bleiben Pfad und Abfrage für den Regelabgleich erhalten. Geht es um einen Produktleitfaden, testen Sie ihn statt das Startseitenergebnis überall vorauszusetzen.
Der Checker lädt robots.txt vom Ursprung der eingegebenen URL. Subdomains sowie HTTP- und HTTPS-Ursprünge können unterschiedliche Dateien besitzen. Prüfen Sie die tatsächlich veröffentlichte Adresse. Die Quelldetails zeigen angeforderte robots.txt-Adresse, endgültige Adresse nach Weiterleitungen und Prüfzeit. Höchstens fünf Quellweiterleitungen werden verfolgt.
Finden Sie weitere zu prüfende Hostnamen mit Subdomain Finder und kontrollieren Sie die Bot-Regeln jedes relevanten Ursprungs einzeln. Ein Zertifikatseintrag bestätigt weder eine funktionierende Website noch tatsächlichen Bot-Zugriff.
Die Seiten-URL dient dem Regelabgleich, nicht der Inhaltsanalyse. Ein erfolgreicher robots.txt-Abruf belegt deshalb nicht die Erreichbarkeit oder Lesbarkeit des Artikels. Bewahren Sie beim Vergleich vor und nach Änderungen die geprüfte Adresse mit dem Ergebnis auf.
Trennen Sie KI-Suche, Training und nutzerveranlasste Besuche
Ein gesperrter Trainingscrawler ist nicht automatisch ein Suchproblem. Lesen Sie den Zweck jeder Zeile, bevor Sie Grün zum Ziel machen. Der aktuelle Bericht umfasst neun Einträge:
| Zweck | Einträge im Bericht | Bedeutung der Kategorie |
|---|---|---|
| KI-Suche | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Diese Zeilen bei gewünschter Auffindbarkeit im jeweiligen Suchangebot prüfen |
| Modelltraining | GPTBot, ClaudeBot | Ein Trainingsausschluss kann beabsichtigt und von Suchregeln getrennt sein |
| Nutzerveranlasste Besuche | ChatGPT-User, Claude-User, Perplexity-User | Verhaltenshinweis lesen; die drei behandeln robots.txt unterschiedlich |
| Inhaltsnutzungskontrolle | Google-Extended | Kontrolltoken, kein eigener HTTP-Crawler oder Google-Rankingregler |
OpenAIs Crawler-Dokumentation trennt OAI-SearchBot und GPTBot. Bei nutzerveranlassten ChatGPT-User-Anfragen gelten robots.txt-Regeln möglicherweise nicht. Suche erlauben und Training sperren sind somit getrennte Entscheidungen, kein widersprüchliches Ergebnis.
Anthropics Bot-Hinweise unterscheiden Claudes Such-, Trainings- und Nutzeragenten und erklären, dass die Bots robots.txt beachten. Perplexitys Crawler-Hinweise trennen die Suche durch PerplexityBot von Perplexity-User, der robots.txt bei Nutzerabrufen im Allgemeinen ignoriert.
Googles Dokumentation zu Google-Extended beschreibt Inhaltsnutzung und erklärt, dass das Token Aufnahme oder Ranking in Google Search nicht beeinflusst. Diese Zeile testet weder Googlebot noch sämtliche KI-Suchfunktionen von Google. Zwecke und dokumentiertes Verhalten können sich ändern; prüfen Sie langlebige Richtlinien anhand der Primärquellen.
Lesen Sie angewendete Gruppe und passende Regel
Die Belege zeigen Bot, Gruppe, passende Allow-/Disallow-Regel und Quellzeile. Eine passende botspezifische Gruppe hat Vorrang vor der Wildcard-Gruppe. Innerhalb geltender Regeln gewinnt der längere passende Pfad, bei gleicher Spezifität Allow. Keine passende Einschränkung bedeutet, dass für dieses Ziel keine sperrende Regel gefunden wurde. Eine ausdrückliche Allow-Zeile ist nicht zwingend erforderlich.
Denken Sie an eine fiktive OAI-SearchBot-Gruppe mit Disallow für /private/ und genauerem Allow für /private/public-guide/. Der Leitfaden kann erlaubt sein, während /private/report/ gesperrt bleibt. Eine zusätzliche GPTBot-Gruppe, die alle Pfade sperrt, verändert die OAI-SearchBot-Ergebnisse nicht. Das illustriert den Abgleich und ist keine Kopiervorlage für Ihre Richtlinie.
Unbekannt ist nicht gesperrt. Eine unerreichbare Quelle, ungültige Datei oder überschrittene Grenze lässt die Richtlinie offen. Die Quelle ist auf 512 KiB begrenzt. Eine fehlende robots.txt mit 404 oder 410 bedeutet keine dort gefundene Einschränkung, nicht das Verschwinden anderer Zugriffskontrollen. Lesen Sie Warnungen und Zeilendiagnosen vor Änderungen. Für eigene User-Agents oder genauere Regelprüfung hilft der Robots.txt Tester.
Ändern Sie nur die beabsichtigte Richtlinie
Bei gewünschter KI-Suche beginnen Sie mit den Suchbot-Zeilen und der passenden Sperre. Behalten Sie absichtliche Trainings- und Privatpfadregeln, statt jede Disallow-Zeile zu löschen. Bearbeiten und veröffentlichen Sie die Datei des zuständigen Ursprungs und testen Sie dieselbe genaue URL erneut. Prüfen Sie zusätzlich eine weiterhin gesperrte URL, um eine zu breite Änderung zu erkennen.
Eine erlaubte Richtlinie ist kein tatsächlicher Zugriffstest. Der Checker sendet keine Abrufe als alle neun Agenten, untersucht keine Botprotokolle und prüft weder Anmeldung noch Serverzugriffsregeln. Erlaubte Zeilen ergeben keinen Sichtbarkeitsscore; eine fehlende Datei garantiert keinen freien Zugriff.
HTTP-Antworten untersuchen Sie gesondert mit dem Bulk HTTP Status Checker. Auch dessen Anfrage beweist nicht, was jeder echte Bot erhält. Für Seitenanweisungen zur Indexierung nutzen Sie den Noindex Checker. Richtlinie, erfolgreicher Abruf, Indexierung und Auswahl als Quelle sind getrennte Fragen. Eine Regeländerung garantiert weder Traffic noch Empfehlungen oder Zitate.
Prüfen Sie vor der Veröffentlichung Markdown-Struktur und gefundene Links mit dem llms.txt-Validator. Optionale HTTP-Prüfungen untersuchen eine begrenzte Zielauswahl; sie bestätigen nicht, dass ein KI-Agent die Datei liest.
Für eine breitere Quellenprüfung verwenden Sie den KI-Suchbereitschafts-Check für Seiten-HTML, Robots-Regeln und begrenzte Auffindbarkeitsdateien zusammen. Technische Befunde messen keine KI-Sichtbarkeit und garantieren keine Zitate.