Vergleichen Sie mit der Bulk-Meta-Robots-Prüfung die Anweisungen noindex und nofollow für bis zu 20 öffentliche URLs. Das Tool liest HTML-Robots-Tags und X-Robots-Tag-Antwortheader und gruppiert die beobachteten Ergebnisse für den ausgewählten Crawler. So können Sie unerwartete Ausschlüsse bei mehreren Seitenvorlagen erkennen oder beabsichtigte Ausschlüsse nach einer Änderung überprüfen. Der Bericht beschreibt die lesbaren Antworten; er stellt nicht fest, ob Google diese Seiten indexiert hat.
Wählen Sie passende Seiten und den Crawler aus
Beginnen Sie mit den Seiten, die von der zu prüfenden Änderung betroffen sind. Nach der Bearbeitung einer Produktvorlage sollten Sie mehrere Produkt-URLs und eine Kategorieseite aufnehmen. Nach einem Umzug eignen sich wichtige Landingpages und URLs, die weiterleiten sollen. Eine kleine repräsentative Auswahl hilft beim Vergleich verschiedener Seitentypen. Sie belegt nicht, dass die gesamte Website gleich reagiert.
Legen Sie fest, welche Seiten für die Suche zugelassen und welche bewusst ausgeschlossen sein sollen. Eine öffentliche Produktseite und eine Dankeseite können beispielsweise unterschiedliche Anforderungen haben. Eine noindex-Warnung muss untersucht werden, wenn sie dieser Anforderung widerspricht, nicht allein wegen ihres Warnsymbols.
Fügen Sie vollständige HTTP- oder HTTPS-URLs ein, eine pro Zeile und höchstens 20 nicht leere Zeilen. Nach der Normalisierung identische URLs werden nur einmal geprüft. Entfernen Sie Duplikate trotzdem vor dem Absenden einer Liste, die das Limit überschreitet. Das Tool prüft die angegebenen Adressen; es entdeckt keine zusätzlichen Seiten Ihrer Domain und importiert keine Sitemap.
Wählen Sie Googlebot, um allgemeine und Googlebot-spezifische Anweisungen gemeinsam auszuwerten. Die Option für allgemeine Crawler berücksichtigt die allgemeinen Anweisungen. Diese Auswahl verändert, welche Regeln im Bericht gelten. Sie macht aus der Anfrage keinen echten Googlebot-Besuch und beweist nicht, dass Google dieselbe Antwort erhält.
Verstehen Sie noindex, kein noindex und unbekannte Ergebnisse
Zusammenfassung und Filter gruppieren URLs nach dem beobachteten noindex-Ergebnis. Die Noindex-Warnung bedeutet, dass eine relevante noindex-Anweisung gefunden wurde. Das grüne Kennzeichen Kein noindex beobachtet bedeutet, dass bei vollständiger Abdeckung der relevanten Quellen keine solche Anweisung gefunden wurde. Unbekannt bedeutet, dass das Tool ihre Abwesenheit nicht feststellen konnte. Grün bestätigt keine Indexierung; auch ein neutrales Unbekannt-Kennzeichen bedeutet nicht, dass die Seite sie zulässt.
Lesen Sie daneben den HTTP-Status, die endgültige URL und die Belege. Bei einer Weiterleitung beziehen sich die Anweisungen auf die endgültige Antwort, die diese Prüfung erreicht hat. Ein Statuscode allein sagt nicht, ob eine Robots-Anweisung vorhanden ist. Beachten Sie auch den gesonderten nofollow-Wert: Die Zusammenfassung ist keine gemeinsame Bewertung beider Anweisungen.
Die folgenden fiktiven Fälle zeigen, wie die beabsichtigte Seitenfunktion den nächsten Schritt verändert. Es sind keine Ergebnisse einer echten Website-Prüfung.
| Beabsichtigtes Verhalten | Gelesene Belege | Nächster Schritt |
|---|---|---|
| Öffentliche Produktseite soll in der Suche erscheinen | Relevantes noindex gefunden |
Tag oder Header lokalisieren und den unerwünschten Ausschluss untersuchen |
| Dankeseite soll nicht in der Suche erscheinen | Beabsichtigtes noindex gefunden |
Anweisung und Crawler-Geltungsbereich mit der Anforderung abgleichen |
| Öffentlicher Artikel soll in der Suche erscheinen | Kein noindex; Quellen vollständig gelesen |
Weitere Indexierungsprüfungen durchführen, falls der Artikel in der Suche fehlt |
| Beliebige Seite mit unlesbarer Quelle | Kein bestätigtes noindex; Abdeckung unvollständig |
Fehlende Belege untersuchen, bevor Anweisungen geändert werden |
Auch eine teilweise lesbare Antwort kann einen eindeutigen positiven Befund liefern: Ein lesbarer Header mit noindex bleibt ein Beleg, selbst wenn das HTML nicht gelesen werden kann. Die gegenteilige Aussage erfordert ausreichende Abdeckung. Bei einem PDF oder einer anderen Nicht-HTML-Ressource kann die HTML-Abdeckung Nicht zutreffend sein; die relevante Quelle ist der Antwortheader. Nicht zutreffend und nicht verfügbar beschreiben unterschiedliche Situationen.
Prüfen Sie HTML-Tags und X-Robots-Tag gemeinsam
Ein HTML-Tag und ein Antwortheader können unterschiedliche Anweisungen enthalten. Angenommen, das endgültige HTML enthält:
<meta name="robots" content="index, follow">
Die Antwort enthält außerdem:
X-Robots-Tag: noindex
Ein zusätzliches index im HTML hebt das relevante noindex des Headers nicht auf. Googles Referenz zu Robots-Anweisungen erläutert die Kombination mehrerer Deklarationen und die Auflösung von Konflikten durch restriktive Regeln. Untersuchen Sie hier die Header-Einstellung, statt das HTML-Tag wiederholt zu ändern. Der Bericht bewahrt Quelle, Crawler und Rohwert jeder Deklaration, damit Sie die betreffende Anweisung finden können.
Auch der Geltungsbereich zählt. Ein allgemeines robots-Tag mit index, follow kann neben einem googlebot-Tag mit noindex stehen. Die Googlebot-Auswahl berücksichtigt den spezifischen Ausschluss; die allgemeine Auswahl wertet die allgemeinen Deklarationen aus. Unterschiedliche Ergebnisse sind deshalb möglich, ohne dass einer der Durchläufe Googles tatsächlichen Indexstatus misst.
Die Kurzform none bedeutet sowohl noindex als auch nofollow. Andere Anweisungen erfordern möglicherweise eine genauere Auswertung: indexifembedded betrifft beispielsweise Inhalte, die an anderer Stelle eingebettet sind. Diese Stapelzusammenfassung erfasst die beiden Anweisungen; sie entscheidet nicht abschließend über jede Regel, Einbettung oder Suchfunktion. Bewahren Sie die Rohbelege auf, wenn eine Ausnahme untersucht werden muss.
Trennen Sie nofollow von der Indexierung
Noindex betrifft die Aufnahme einer Seite in Suchergebnisse. Seitenweites nofollow betrifft das Folgen von Links auf dieser Seite. Noindex, follow ist nicht grundsätzlich widersprüchlich: Der Betreiber kann die Seite ausschließen wollen, während ihre Links weiterhin auffindbar bleiben. Beurteilen Sie diese Entscheidungen anhand des Seitenzwecks, statt jede einschränkende Anweisung als Fehler einzustufen.
Das Stapel-Tool berichtet seitenweite Deklarationen. Es untersucht nicht bei jedem Link die Attribute rel="nofollow", sponsored oder ugc. Ein Nein bei seitenweitem nofollow stellt daher nicht fest, wie jeder einzelne Link gekennzeichnet ist.
Googles Leitfaden zu Linkattributen erklärt außerdem, dass verlinkte URLs über andere Quellen entdeckt werden können. Ein hier beobachtetes nofollow beweist nicht, dass diese Ziele niemals gecrawlt oder indexiert werden. Wenn Sie den Ausschluss der geprüften Seite selbst klären möchten, betrachten Sie deren noindex-Belege.
Untersuchen Sie unbekannte Ergebnisse vor einer Änderung
Beginnen Sie mit Abdeckung und Belegen, nicht mit der Annahme eines fehlenden Tags. Eine fehlgeschlagene Anfrage, ein unlesbares Dokument oder eine nicht unterstützte Deklaration kann eine Entscheidung verhindern. Prüfen Sie, ob eine angegebene endgültige URL das gewünschte Ziel ist. Eine Weiterleitung zur Anmeldung oder eine Zugriffsverweigerung liefert keine Belege für den normalen öffentlichen Inhalt der ursprünglichen Seite.
Dieses Tool liest die HTTP-Antwort; es führt kein JavaScript aus, um die gerenderte Seite aufzubauen. Anweisungen, die erst nach der Skriptausführung eingefügt werden, liegen außerhalb dieser Sicht. Ebenso kann eine Seite mit Anmeldepflicht, einer Sperre für automatisierte Zugriffe oder besucherabhängigen Antworten anderen Inhalt liefern als Ihr Browser. Entfernen Sie keine sinnvollen Anweisungen, nur um eine unbekannte Zeile grün zu machen. Klären Sie zunächst, was tatsächlich gelesen werden konnte, und versuchen Sie es erneut, sobald die öffentliche Antwort verfügbar ist.
Nutzen Sie die Noindex-Prüfung, um Deklarationen und Ausnahmen einer einzelnen URL genauer zu untersuchen. Behalten Sie das Stapelergebnis als Vergleichsgrundlage, während Sie die betreffende Seite separat prüfen.
Die Crawl-Erlaubnis ist eine weitere Frage. Dieses Tool liest keine robots.txt; verwenden Sie den Robots.txt-Tester für deren Pfadregeln. Google muss auf eine Seite zugreifen können, um ihre noindex-Anweisung zu sehen. Eine Kombination aus Crawl-Sperre und Ausschluss erfordert deshalb eine separate Zugriffsprüfung, selbst wenn dieses Tool die URL abrufen kann.
Exportieren Sie Befunde und prüfen Sie dieselben Seiten erneut
Filtern Sie vor dem CSV-Download die zu untersuchende Gruppe. Die CSV enthält URL und Statusklassifizierung der sichtbaren Zeilen. Sie ist eine kompakte Arbeitsliste, kein vollständiger Export aller Robots-Belege: Einzelne Rohdeklarationen, der nofollow-Wert und sämtliche Antwortdetails sind nicht enthalten. Laden Sie den vollständigen Bericht als JSON herunter, wenn der Empfänger detaillierte Belege und Informationen zur Abdeckung benötigt.
Für eine reproduzierbare Korrektur:
- Bewahren Sie die eingegebenen URLs, den ausgewählten Crawler-Geltungsbereich und den ursprünglichen Bericht zusammen auf. Notieren Sie das beabsichtigte Verhalten jeder Seite neben den Befunden.
- Bestimmen Sie die Quelle der Deklaration. Korrigieren Sie ein unerwünschtes HTML-Tag auf der betreffenden Seite oder in ihrer Vorlage; korrigieren Sie einen unerwünschten Header in der Einstellung, die ihn veröffentlicht. Bewahren Sie beabsichtigte Ausschlüsse.
- Prüfen Sie dieselbe Liste mit demselben Geltungsbereich erneut, sobald die aktualisierten öffentlichen Antworten verfügbar sind. Vergleichen Sie Rohbelege und Anzahlen; eine unveränderte Gesamtzahl kann andere URLs umfassen.
- Untersuchen Sie verbleibende unbekannte Zeilen separat, statt sie als erledigt zu zählen.
Wenn die geänderte Antwort korrekt ist, Googles Ergebnis sich aber noch nicht verändert hat, erklärt diese Momentaufnahme allein den Verarbeitungsstand nicht. Googles Anleitung zur Noindex-Fehlersuche verweist auf URL-Prüfung und Seitenindexierungsberichte, um die von Google empfangenen Daten zu kontrollieren. Eine erfolgreiche Wiederholungsprüfung bestätigt die aktuell beobachtete Antwort, keinen sofortigen erneuten Crawl und kein zugesagtes Suchergebnis.