Kostenloser Robots.txt-Tester und Validator
Prüfen Sie, ob eine URL für Google-, KI-Such-, Trainings- und eigene Crawler erlaubt oder blockiert ist. Testen Sie eine Live-Website oder fügen Sie eine Robots.txt-Datei ein, um die zutreffende Regel und Zeile zu sehen.
Testen Sie eine Crawling-Regel in drei Schritten.
Prüfen Sie eine URL ohne Projekt oder Konto. Der Live-Modus liest nur die öffentliche robots.txt-Datei der Website.
Quelle auswählen
Rufen Sie die öffentliche Robots.txt-Datei einer Website ab oder fügen Sie Inhalte ein, die Sie privat im Browser testen möchten.
Crawler auswählen
Wählen Sie ein Such-, KI-Such-, Trainings-, nutzergesteuertes oder eigenes Crawler-Token und geben Sie den zu prüfenden URL-Pfad ein.
Genaue Übereinstimmung lesen
Sehen Sie, ob die URL erlaubt ist, welche Gruppe gilt und welche Allow- oder Disallow-Regel und Zeile das Ergebnis bestimmt.
Verstehen Sie, warum ein Crawler erlaubt oder blockiert wird.
Ein nützliches Ergebnis zeigt die Regel hinter der Entscheidung, nicht nur einen grünen oder roten Status.
Die spezifischste Regel gewinnt
Der Tester verwendet das Verhalten der längsten Übereinstimmung. Bei gleich spezifischen widersprüchlichen Allow- und Disallow-Regeln gewinnt Allow als weniger restriktive Regel.
Wildcard- und Endabgleich
Verwenden Sie ein Sternchen für eine Zeichenfolge und ein Dollarzeichen, um eine Regel am Ende der geprüften URL zu verankern.
User-Agent-Gruppen sind wichtig
Eine crawler-spezifische Gruppe hat Vorrang vor der globalen *-Gruppe. Verschiedene Such-, Trainings- und nutzergesteuerte Agents sollten getrennt getestet werden.
Keine Regel bedeutet Standardzugriff
Wenn keine passende Allow- oder Disallow-Regel greift, ist die URL nach dem Robots Exclusion Protocol standardmäßig erlaubt.
Robots.txt steuert den Zugriff, nicht die Aufnahme in die Suche.
Crawl-Steuerung
Allow- und Disallow-Regeln legen fest, welche URL-Pfade ein kompatibler Crawler anfordern darf.
Index-Steuerung
Verwenden Sie crawlbare Noindex-Anweisungen und Prozesse zur Entfernung aus Suchmaschinen, wenn eine URL nicht in Suchergebnissen erscheinen soll.
Fragen zum Robots.txt-Tester
Klare Antworten zu Crawling-Regeln, KI-Crawler-Tokens, Fehlerzuständen und Indexierung.
Was macht ein Robots.txt-Tester?
Ein Robots.txt-Tester vergleicht einen Crawler-User-Agent und eine URL mit den Regeln einer Robots.txt-Datei. Er zeigt, ob Crawling erlaubt ist, welche User-Agent-Gruppe gilt und welche Regel genau übereinstimmt.
Verhindert Robots.txt die Indexierung einer Seite?
Nicht allein. Robots.txt steuert das Crawling, nicht die Indexierung. Eine blockierte URL kann über Links entdeckt werden und ohne vollständiges Snippet erscheinen. Verwenden Sie auf einer crawlbaren Seite eine passende Noindex-Direktive, wenn sie aus Suchergebnissen entfernt werden soll.
Was bedeutet „Standardmäßig erlaubt“?
Der Tester hat keine passende Regel gefunden, die die URL blockiert. Das kann an einer fehlenden User-Agent-Gruppe, einer Gruppe ohne relevante Regel oder einer nicht nutzbaren Robots.txt-Datei liegen.
Kann ich KI-Crawler getrennt von Googlebot testen?
Ja. Such-, KI-Such-, Modelltrainings- und nutzergesteuerte Crawler verwenden unterschiedliche Produkt-Tokens und können unterschiedlichen Regeln folgen. Wählen Sie jeden Agent einzeln, um die geltende Richtlinie zu prüfen.
Was bedeuten * und $ in Robots.txt?
Ein Sternchen entspricht einer Zeichenfolge im URL-Pfad. Ein Dollarzeichen verankert ein Muster am Ende der URL. Der Tester unterstützt beide Muster, um die spezifischste passende Regel zu bestimmen.
Was passiert bei einem 404- oder 403-Status der Robots.txt?
Große Crawler behandeln die meisten 4xx-Antworten im Allgemeinen so, als wären keine Crawl-Einschränkungen veröffentlicht. Eine 429-Antwort signalisiert dagegen eine vorübergehende Ratenbegrenzung, daher meldet der Tester einen unbestimmten Live-Zustand.
Warum ist ein 5xx- oder Timeout-Ergebnis unbestimmt?
Ein vorübergehender Server- oder Netzwerkfehler beweist nicht, dass ein Crawler erlaubt oder blockiert ist. Crawler können Anfragen pausieren oder eine zuvor zwischengespeicherte Robots.txt-Datei verwenden; der Tester vermeidet daher eine definitive Entscheidung.
Speichert Screpy URLs oder eingefügte Robots.txt-Inhalte?
Nein. Eingefügte Inhalte werden im Browser analysiert und nicht hochgeladen. Im Live-Modus werden nur Website, geprüfte URL und ausgewählter Crawler für die aktuelle Prüfung gesendet; diese Eingaben werden nicht gespeichert.