Der Robots.txt-Tester prüft, ob die Regeln einer Website einem ausgewählten Crawler erlauben, eine bestimmte URL abzurufen. Testen Sie die Live-Datei oder fügen Sie einen Entwurf ein und prüfen Sie anschließend die passende Gruppe, Direktive und Zeile. Das Ergebnis erklärt die Crawling-Erlaubnis nach diesen Regeln; es bestätigt weder einen Bot-Besuch noch die Indexierung der URL.
Robots.txt-Quelle und URL auswählen
Mit Live-Website lesen Sie die öffentliche Datei, die Ihre Website aktuell ausliefert. Geben Sie https://example.com, den Pfad /products/item und den gewünschten Crawler ein. Screpy ruft /robots.txt ab; die getestete Seite wird nicht abgerufen und die gesamte Website nicht gecrawlt.
Nutzen Sie robots.txt einfügen für einen unveröffentlichten Entwurf. Der eingefügte Text wird ohne Upload in Ihrem Browser analysiert. Geben Sie die Website-Adresse als Kontext an, damit der Tester die Ziel-URL auflösen kann.
Achten Sie auf das genaue Protokoll und den Hostnamen: https://example.com, http://example.com und https://www.example.com sind unterschiedliche Ursprünge. Eine Domain ohne Protokoll verwendet HTTPS. Eine vollständige Test-URL muss denselben Ursprung wie die eingegebene Website haben; ein Pfad wird relativ dazu aufgelöst. Mit / testen Sie nur den Startseitenpfad. Behalten Sie bei anderen URLs die tatsächliche Groß- und Kleinschreibung sowie die Abfrageparameter bei.
Wählen Sie eine Crawler-Voreinstellung oder geben Sie ein eigenes Produkttoken wie ExampleBot ein, keinen vollständigen Browser-User-Agent-Header.
Ergebnis des Robots.txt-Tests lesen
Lesen Sie den Status zusammen mit seinen Belegen, insbesondere der passenden Gruppe und der hervorgehobenen Zeile.
| Status | Bedeutung | Was Sie prüfen sollten |
|---|---|---|
| Erlaubt — grün | Eine passende Allow-Regel erlaubt diese URL. |
Die entscheidende Direktive und Zeile. |
| Blockiert — rot | Eine passende Disallow-Regel blockiert diese URL. |
Ob Pfad und Crawler Ihrer Absicht entsprechen. |
| Standardmäßig erlaubt — blau | Keine zutreffende Pfadregel schränkt diese URL ein. | Die ausgewählte Gruppe und ob eine nutzbare Live-Datei zurückgegeben wurde. |
| Unbestimmt — gelb | Die Live-Prüfung kann keine Regelentscheidung treffen. | Die Quellantwort oder die Abrufwarnung. |
Prüfen Sie bei einem Live-Test zuerst die Robots.txt-URL und den HTTP-Status. Dieser Tester behandelt 404, 403 und andere 4xx-Antworten außer 429 so, als seien keine Einschränkungen veröffentlicht. Eine Ratenbegrenzung, ein Serverfehler oder eine nicht auflösbare Weiterleitung lässt die Entscheidung unbestimmt; ein Timeout kann statt eines Ergebnisses einen Fehler anzeigen. Das beweist keine ausdrückliche Disallow-Regel. Echte Crawler können eine zwischengespeicherte Datei verwenden oder Fehler anders behandeln; Google dokumentiert seine eigenen Antwortregeln.
Prüfen Sie Parser-Warnungen, bevor Sie einem unerwarteten Standardergebnis vertrauen. Eine falsch geschriebene Direktive oder ein fehlender Doppelpunkt kann dazu führen, dass die beabsichtigte Regel ungenutzt bleibt. Screpy verarbeitet höchstens die ersten 500 KiB und kennzeichnet gekürzten Inhalt. Bei einer Kürzung beschreibt die Entscheidung den verarbeiteten Teil; spätere Regeln wurden nicht geprüft.
Verstehen, welche Robots.txt-Regel gewinnt
Eine crawler-spezifische Gruppe hat Vorrang vor User-agent: *; die Regeln beider Gruppen werden nicht gemeinsam übernommen. Innerhalb der zutreffenden Gruppe gewinnt die längste passende Pfadregel. Stimmen gleich spezifische Allow- und Disallow-Regeln überein, gewinnt Allow. Passende Gruppen für denselben spezifischen Agent können zusammengeführt werden; prüfen Sie daher auch wiederholte Gruppen. Diese Grundsätze beschreibt das Robots Exclusion Protocol.
Fügen Sie diese Beispielrichtlinie ein und vergleichen Sie die folgenden Tests:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Crawler | Getesteter Pfad | Erwartetes Ergebnis | Grund |
|---|---|---|---|
| Bingbot | /private/report |
Blockiert | Die globale /private/-Regel passt. |
| Bingbot | /private/help/guide |
Erlaubt | Die längere /private/help/-Ausnahme gewinnt. |
| Googlebot | /private/report |
Standardmäßig erlaubt | Seine spezifische Gruppe enthält keine passende Regel; die globale Sperre wird nicht übernommen. |
| Googlebot | /preview/page |
Blockiert | Seine spezifische /preview/-Regel passt. |
Das Beispiel zeigt den Regelabgleich, keinen geschützten Privatbereich. Pfade unterscheiden Groß- und Kleinschreibung: /Private/ ist nicht /private/. In Pfadmustern steht * für eine Zeichenfolge und $ für das Ende. Beispielsweise passt Disallow: /*.pdf$ zu /guide.pdf, aber nicht zu /guide.pdf?download=1. Testen Sie die tatsächlich verwendete URL, statt für ähnliche Varianten dasselbe Ergebnis anzunehmen.
Such- und KI-Crawler getrennt testen
Das ausgewählte Produkttoken bestimmt, welche Regeln gelten. Prüfen Sie Googlebot und Bingbot einzeln, wenn es um Suchmaschinen-Crawling geht. Unterscheiden Sie bei KI-Agenten Suche, Modelltraining und vom Nutzer angeforderte Abrufe, statt anzunehmen, dass eine Regel alles abdeckt.
OAI-SearchBot dient beispielsweise der ChatGPT-Suche, während GPTBot Inhalte crawlt, die für Modelltraining verwendet werden können. ChatGPT-User übernimmt bestimmte nutzerinitiierte Aktionen; laut OpenAIs Crawler-Dokumentation gelten Robots.txt-Regeln möglicherweise nicht für diese Anfragen.
Eine Voreinstellung prüft dieses Token gegen die Datei. Die Live-Prüfung gibt sich nicht als ausgewählter Bot aus, authentifiziert dessen Anfragen nicht und beweist nicht, dass er die angezeigte Richtlinie befolgt. Ein blockiertes Ergebnis für ein nutzergesteuertes Token ist eine Regelinterpretation, keine Garantie, dass Anfragen aufhören.
Regel korrigieren und Live-Datei erneut testen
Ändern Sie die kleinste relevante Regel und prüfen Sie dann sowohl die beabsichtigte Einschränkung als auch die Ausnahme, die erhalten bleiben soll.
- Kopieren Sie die aktuelle Datei in den Einfügemodus und reproduzieren Sie das unerwartete Ergebnis mit derselben URL und demselben Crawler.
- Korrigieren Sie die passende Direktive oder Gruppe. Testen Sie den betroffenen Pfad und eine benachbarte URL, die erlaubt oder blockiert bleiben soll.
- Wiederholen Sie dies für jeden relevanten Crawler. Ein erfolgreicher Googlebot-Test legt das Ergebnis für Bingbot oder GPTBot nicht fest.
- Wechseln Sie nach der Veröffentlichung auf Ihrer eigenen Website in den Live-Modus und wiederholen Sie die Prüfungen. Bestätigen Sie, dass die zurückgegebene Datei und die passende Zeile die Änderung zeigen. Eine frische Tool-Antwort beweist nicht, dass ein echter Crawler seine zwischengespeicherte Kopie aktualisiert hat.
Soll eine Seite aus der Suche entfernt werden, reicht Disallow allein nicht. Google muss die Seite crawlen können, um ihre noindex-Direktive zu lesen. Schützen Sie vertrauliche Inhalte mit Authentifizierung, nicht mit Robots.txt. Google erklärt die Grenzen von Crawl-Sperren.
Der Bericht listet außerdem Sitemap:-Deklarationen auf; eine gefundene Adresse validiert weder deren XML noch beweist sie Indexierung. Öffnen Sie sie für diese separate Prüfung im Sitemap-Checker. Ist der Crawler-Zugriff korrekt, die Seite aber weiterhin untersuchungsbedürftig, prüfen Sie ihre seitenbezogenen SEO-Signale mit dem On-Page-SEO-Checker.
Noindex-Check: Finden Sie noindex im HTML und in HTTP-Headern einer Seite. Erkennen Sie die Quelle und ihre Gültigkeit für die Google-Websuche.
KI-Bot-Zugriffstest: Dieser Test prüft nur robots.txt-Regeln. Er belegt keinen tatsächlichen Bot-Zugriff, keine Indexierung und keine Quellenangaben.