Der kostenlose Robots.txt-Generator von Screpy erstellt eine Textdatei aus Ihren Crawler-Gruppen, Allow- und Disallow-Regeln sowie Sitemap-URLs. Bereiten Sie damit eine neue Datei vor oder bilden Sie eine bereits geplante Richtlinie ab. Kopieren Sie das Ergebnis oder laden Sie robots.txt herunter und veröffentlichen Sie die Datei auf Ihrer Website.
Der Generator liest keine vorhandene Datei, testet keine veröffentlichten URLs und installiert keine Änderungen. Sichern Sie eine funktionierende Konfiguration vor dem Ersetzen und legen Sie fest, welche Pfade jeder Crawler abrufen darf. Eine syntaktisch korrekte Datei kann trotzdem die falschen Regeln für Ihre Website ausdrücken.
So verwenden Sie den Robots.txt-Generator
Beginnen Sie mit der Crawler-Gruppe * für die allgemeine Richtlinie. Wählen Sie Regel hinzufügen, dann Allow oder Disallow, und geben Sie einen mit / beginnenden Pfad ein. Tragen Sie beispielsweise /drafts/ ein, nicht https://example.com/drafts/. Eine weitere Gruppe ist nur nötig, wenn ein benannter Crawler eigene Regeln erhalten soll.
Sie können bis zu 10 eindeutige Crawler-Gruppen, insgesamt 50 explizite Regeln und 10 Sitemap-URLs konfigurieren. Verwenden Sie das Produkt-Token des Crawlers, etwa Googlebot, statt einer vollständigen User-Agent-Zeichenfolge eines Browsers. Namen, die sich nur in Groß- und Kleinschreibung unterscheiden, gelten hier nicht als verschiedene Gruppen.
Geben Sie jede vollständige HTTP- oder HTTPS-Sitemap-Adresse in einer eigenen Zeile an. Ohne passende Adresse bleibt das Feld leer. Erstellen Sie die Datei, prüfen Sie Warnungen und kopieren oder laden Sie die Ausgabe herunter. Eine Gruppe ohne explizite Regeln erzeugt Allow: /. Der Zähler expliziter Regeln kann deshalb null anzeigen, obwohl diese Standardzeile enthalten ist. Das sind Grenzen des Generators, nicht des Robots.txt-Protokolls.
Robots.txt-Beispiel mit einer erlaubten Ausnahme
Diese fiktive Konfiguration beschränkt das Crawling eines Entwurfsordners, lässt jedoch einen öffentlichen Unterordner zugänglich. Sie dient als anpassbares Beispiel und nicht als allgemeine Empfehlung für jede Website.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Für einen Crawler, der diese Gruppe verwendet, ergeben sich folgende Regelentscheidungen:
| URL-Pfad | Crawl-Entscheidung | Grund |
|---|---|---|
/products/blue-mug/ |
Erlaubt | Keine Einschränkung trifft zu. |
/drafts/new-page/ |
Gesperrt | Der gesperrte Ordner stimmt überein. |
/drafts/public/style-guide/ |
Erlaubt | Der längere Allow-Pfad bildet eine Ausnahme. |
/drafts |
Erlaubt | Der abschließende Schrägstrich aus /drafts/ fehlt. |
Die letzte Zeile ist wichtig, wenn Ihre Anwendung beide Ordnervarianten bereitstellt. Testen Sie tatsächlich angebotene URLs einschließlich Schrägstrich- und Abfragevarianten. Eine Regelentscheidung beschreibt die Erlaubnis laut Datei, nicht die HTTP-Erreichbarkeit oder Indexierung. Die Sitemap-Zeile verweist auf einen Dateipfad und hebt Disallow nicht auf.
Mit Platzhaltern die richtigen Pfade erfassen
Prüfen Sie eine Regel sowohl mit einem gewünschten Treffer als auch mit einer ähnlichen URL, die crawlbar bleiben soll. Pfade unterscheiden Groß- und Kleinschreibung: /Catalog/ und /catalog/ sind verschieden. Ein fehlender Schrägstrich oder ein zu breites Präfix kann andere Seiten erfassen als beabsichtigt.
| Muster | Vor der Verwendung prüfen |
|---|---|
/catalog |
Ein Präfix, das auch /catalogue/ erfasst. |
/catalog/ |
Erfasst Unterpfade dieses Ordners, aber nicht /catalog allein. |
/catalog$ |
Erfasst das genaue Ende, nicht /catalog/ oder /catalog?sort=price. |
/*.pdf$ |
Erfasst URLs mit der kleingeschriebenen Endung .pdf; eine nachfolgende Abfrage verändert das Ende. |
Das Robots Exclusion Protocol definiert * als Zeichenfolge und $ als Ende eines Treffers. Ein wörtliches # beginnt einen Kommentar. Kodieren Sie ein zum URL gehörendes Rautezeichen oder Leerzeichen, statt es unmaskiert in den Pfad einzutragen. Halten Sie Muster so eng, dass Sie ihre Wirkung erklären und überprüfen können. Das Formular übernimmt die Muster, berechnet aber nicht alle möglicherweise betroffenen URLs.
Jedem Crawler eine vollständige Regelgruppe geben
Die Einschränkungen der Wildcard-Gruppe werden nicht automatisch zur spezifischen Googlebot-Gruppe hinzugefügt. Beispiel:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Die Googlebot-Gruppe beschränkt hier /previews/, nicht jedoch /drafts/. Sollen beide Ordner gesperrt sein, tragen Sie beide Regeln in diese Gruppe ein. Googles Robots.txt-Spezifikation erläutert Gruppenauswahl und Abgleich. Bei gleich spezifischen, widersprüchlichen Allow- und Disallow-Regeln wählt Google Allow. Eine Regel weiter unten in der Datei erhält dadurch keinen Vorrang.
Fügen Sie eine spezielle Gruppe nur hinzu, wenn die gewünschte Unterscheidung feststeht. Crawler für Suche, Training und nutzerinitiierte Abrufe können unterschiedliche Tokens verwenden. Prüfen Sie die Regeln eines unterstützten Bots mit dem AI Bot Access Tester, statt anzunehmen, eine Gruppe kontrolliere alle Aktivitäten eines Dienstes.
Warnungen vor dem Kopieren prüfen
Der Bericht hebt drei Situationen hervor, die eine bewusste Entscheidung erfordern. Eine Warnung fordert zur Prüfung auf; sie beweist nicht, dass die Datei unbrauchbar ist.
| Warnung | Was Sie prüfen sollten |
|---|---|
| Websiteweites Disallow | Eine Gruppe enthält Disallow: /. Prüfen Sie die beabsichtigte breite Sperre und gegebenenfalls spezifischere Allow-Ausnahmen. |
| Spezifische Crawler-Gruppe | Die Wildcard-Gruppe enthält explizite Regeln und ein anderer Crawler hat eine eigene Gruppe. Enthält diese alle vorgesehenen Einschränkungen? |
| Gleicher Allow- und Disallow-Pfad | Beide Aktionen verwenden denselben Pfad in einer Gruppe. Entfernen Sie unbeabsichtigte Konflikte; bei gleicher Spezifität bevorzugt Google Allow. |
Eine warnungsfreie Ausgabe ist kein Audit des tatsächlichen Crawlings. Diese Prüfungen klären weder, ob eine Ressource für die Darstellung nötig ist, noch ob eine Sitemap erreichbar ist oder jedes Muster die vorgesehenen Seiten trifft. Lassen Sie benötigte Stylesheets, Skripte und Bilder crawlbar. Sperren Sie nicht pauschal einen Ressourcenordner, nur weil eine allgemeine Vorlage das vorsieht.
Robots.txt veröffentlichen und die tatsächliche Antwort prüfen
Sichern Sie die aktuelle Datei vor dem Ersetzen. Veröffentlichen Sie den erzeugten Text als UTF-8-Textdatei mit dem exakten Namen robots.txt, ohne zusätzliche .txt-Endung. Bei einer HTTPS-Website unter www.example.com prüfen Sie https://www.example.com/robots.txt. Eine Datei unter /blog/robots.txt konfiguriert nicht den gesamten Host. Protokoll, Host und Port sind entscheidend.
Ermitteln Sie bei WordPress, einem anderen CMS oder einem gehosteten Website-Builder zuerst, was diese URL bereitstellt. Das kann eine physische Datei, eine Plugin-Antwort oder eine Plattformeinstellung sein. Ändern Sie die zuständige Quelle. Eine zweite Datei an anderer Stelle verändert die veröffentlichte Antwort nicht unbedingt. Screpy bietet keine CMS-Vorlagen und veröffentlicht die Datei nicht für Sie.
Nach der Veröffentlichung:
- Öffnen Sie die genaue Robots.txt-Adresse ohne Anmeldung. Prüfen Sie, ob der erwartete Text statt einer Anmeldemaske oder HTML-Seite erscheint.
- Prüfen Sie wichtige erlaubte und gesperrte URLs mit dem Robots.txt Tester, auch Ausnahmen und alternative Schreibweisen.
- Untersuchen Sie unerwartete Antworten mit dem HTTP Headers Checker und eine angegebene Sitemap separat mit dem Sitemap Checker.
Googles Erstellungsanleitung beschreibt Upload und öffentliche Erreichbarkeit. Crawler entdecken die veröffentlichte Datei; ein Download hier reicht sie nicht ein. Eine zwischengespeicherte Kopie kann außerdem dazu führen, dass Änderungen nicht sofort sichtbar werden.
Für Indexierung und private Seiten das richtige Mittel wählen
Verwenden Sie robots.txt für Crawl-Beschränkungen. Soll eine ansonsten öffentliche Seite nicht in Google erscheinen, beschreibt Googles Noindex-Anleitung das Meta-Tag beziehungsweise den HTTP-Antwortheader. Google muss die Seite abrufen können, um die Anweisung zu lesen. Eine Robots.txt-Sperre derselben URL kann das verhindern. Eine Noindex:-Zeile in robots.txt wird von Google nicht unterstützt.
Prüfen Sie bestehende Anweisungen mit dem Noindex Checker, bevor Sie eine Maßnahme wählen. Vertrauliche Dokumente oder eine private Testumgebung benötigen Authentifizierung und geeignete Zugriffskontrollen. Weder eine öffentliche Robots.txt-Datei noch eine Noindex-Anweisung schützt den Inhalt vor Zugriff. Mehr Regeln ersetzen nicht die Wahl des richtigen Mittels.