Gebruik de Bulk Meta Robots Checker om noindex- en nofollow-instructies voor maximaal 20 openbare URL's te vergelijken. De tool leest robots-tags in HTML en X-Robots-Tag-responseheaders en groepeert de waargenomen resultaten voor het geselecteerde crawlerbereik. Zo kun je een onverwachte uitsluiting in verschillende paginatemplates opsporen of bewuste uitsluitingen na een wijziging controleren. Het rapport beschrijft de responses die de checker kon lezen; het stelt niet vast of Google die pagina's heeft geïndexeerd.
Kies een bruikbare reeks en het crawlerbereik
Begin met de pagina's waarop de te controleren wijziging betrekking heeft. Neem na een aanpassing aan een producttemplate verschillende product-URL's en een categoriepagina op. Neem na een migratie belangrijke landingspagina's op en URL's die moeten doorverwijzen. Met een kleine representatieve reeks kun je het gedrag van paginatypen vergelijken; je kunt er niet mee vaststellen dat de hele website hetzelfde gedrag vertoont.
Bepaal welke pagina's in zoekresultaten moeten kunnen verschijnen en welke bewust worden uitgesloten. Een openbare productpagina en een bedankpagina kunnen bijvoorbeeld verschillende doelen hebben. Een noindex-waarschuwing vraagt om aandacht wanneer deze dat doel tegenspreekt, niet alleen omdat er een waarschuwingspictogram staat.
Plak volledige HTTP- of HTTPS-URL's, één per regel, met maximaal 20 niet-lege regels. Herhaalde genormaliseerde URL's worden één keer gecontroleerd, maar verwijder duplicaten voordat je een lijst verstuurt die de limiet overschrijdt. De tool controleert de opgegeven adressen; hij ontdekt geen andere pagina's binnen je domein en importeert geen sitemap.
Selecteer Googlebot om algemene verklaringen samen met Googlebot-specifieke verklaringen te interpreteren. De optie voor generieke crawlers kijkt naar algemene verklaringen. Deze keuze verandert welke instructies in het rapport van toepassing zijn. De aanvraag wordt daardoor geen echt Googlebot-bezoek en bewijst niet dat Google een identieke response ontvangt.
Lees noindex, geen noindex waargenomen en onbekende resultaten
De samenvatting en filters groeperen URL's op basis van het waargenomen noindex-resultaat. De waarschuwing Noindex betekent dat een toepasselijke noindex-instructie is gevonden. Het groene label Geen noindex waargenomen betekent dat zo'n instructie niet is gevonden terwijl alle toepasselijke bronnen volledig zijn gelezen. Onbekend betekent dat de checker geen negatief resultaat kon vaststellen. Groen bevestigt geen indexering en een neutraal onbekend-label betekent niet dat de pagina indexering toestaat.
Lees naast dat resultaat ook de HTTP-status, uiteindelijke URL en onderbouwing. Als een opgegeven URL doorverwijst, beschrijven de instructies de uiteindelijke response die deze controle bereikte. Een statuscode alleen vertelt niet of er een robots-verklaring aanwezig is. Lees ook de afzonderlijke nofollow-waarde; de samenvatting is geen gecombineerde score voor beide instructies.
Deze illustratieve situaties laten zien hoe het doel van de pagina de vervolgstap bepaalt. Het zijn geen resultaten van een scan van een echte website.
| Doel van de pagina | Gelezen onderbouwing | Vervolgactie |
|---|---|---|
| Openbaar product moet in zoekresultaten verschijnen | Toepasselijke noindex gevonden |
Zoek de tag of header en onderzoek de onbedoelde uitsluiting |
| Bedankpagina moet buiten zoekresultaten blijven | Bewuste noindex gevonden |
Controleer of de verklaring en het crawlerbereik aansluiten bij het doel |
| Openbaar artikel moet in zoekresultaten verschijnen | Geen noindex; bronnen volledig gelezen |
Doe andere indexeringscontroles als het artikel niet in zoekresultaten staat |
| Elke pagina waarvan een bron onleesbaar is | Geen bevestigde noindex; onvolledige dekking |
Onderzoek de ontbrekende onderbouwing voordat je instructies wijzigt |
Een gedeeltelijke response kan nog steeds een zeker positief resultaat opleveren: een leesbare header met noindex blijft onderbouwing, ook als de HTML niet kan worden gelezen. De tegenovergestelde conclusie vereist voldoende dekking. Voor een PDF of andere niet-HTML-bron kan de HTML-dekking Niet van toepassing zijn; de relevante bron is dan de responseheader. Niet van toepassing en niet beschikbaar beschrijven verschillende situaties.
Controleer HTML-tags en X-Robots-Tag samen
Een HTML-tag en een responseheader kunnen verschillende instructies bevatten. Stel bijvoorbeeld dat de uiteindelijke HTML het volgende bevat:
<meta name="robots" content="index, follow">
De response bevat ook:
X-Robots-Tag: noindex
Index toevoegen aan de HTML heft de noindex in de toepasselijke header niet op. De robots-documentatie van Google legt uit hoe meerdere verklaringen samengaan en hoe beperkende instructies conflicten oplossen. Onderzoek in dit voorbeeld de headerinstelling in plaats van steeds de HTML-tag te wijzigen. Het rapport bewaart de bron, crawler en oorspronkelijke waarde van elke verklaring, zodat je de relevante instructie kunt vinden.
Ook het bereik is van belang. Een algemene robots-tag met index, follow kan naast een googlebot-tag met noindex bestaan. De Googlebot-selectie neemt de specifieke uitsluiting mee; de generieke selectie kijkt naar de algemene verklaringen. Verschillende resultaten zijn dus mogelijk zonder dat een van beide controles de werkelijke Google-indexering meet.
De afkorting none betekent zowel noindex als nofollow. Andere verklaringen kunnen een uitgebreidere interpretatie vereisen: indexifembedded gaat bijvoorbeeld over content die elders is ingesloten. Deze bulksamenvatting registreert de twee indicatoren; het is geen volledige beslissing over elke instructie, insluitsituatie of zoekfunctie. Bewaar de oorspronkelijke onderbouwing wanneer een uitzondering nader onderzoek vereist.
Houd nofollow gescheiden van indexering
Noindex gaat over opname van de pagina in zoekresultaten. Nofollow op paginaniveau gaat over het volgen van links op die pagina. Een verklaring noindex, follow is niet op zichzelf tegenstrijdig: de eigenaar kan de pagina willen uitsluiten terwijl de links beschikbaar blijven voor ontdekking. Beoordeel deze keuzes op basis van het paginadoel, zonder elke beperkende instructie als fout te beschouwen.
De bulkchecker rapporteert verklaringen op paginaniveau. Hij onderzoekt niet bij elke link het attribuut rel="nofollow", sponsored of ugc. Een resultaat Nee voor nofollow op paginaniveau stelt daarom niet vast hoe elke afzonderlijke link is gemarkeerd.
De richtlijnen van Google voor linkkwalificatie leggen ook uit dat gelinkte URL's via andere bronnen kunnen worden ontdekt. Een hier waargenomen nofollow bewijst niet dat die bestemmingen nooit worden gecrawld of geïndexeerd. Als je wilt weten of deze pagina zelf wordt uitgesloten, ga dan terug naar de noindex-onderbouwing.
Onderzoek onbekende resultaten voordat je instructies wijzigt
Begin bij de dekking en onderbouwing, niet bij de aanname dat een tag ontbreekt. Een mislukte aanvraag, onleesbaar document of niet-ondersteunde verklaring kan de checker verhinderen een oordeel te geven. Controleer, als er een uiteindelijke URL is, of dit de bedoelde bestemming is. Een doorverwijzing naar een inlogpagina of een response die toegang weigert, is geen onderbouwing voor de normale openbare content van de oorspronkelijke pagina.
Deze checker leest de HTTP-response; hij voert geen JavaScript uit om een gerenderde pagina op te bouwen. Instructies die pas na uitvoering van scripts worden toegevoegd, vallen buiten deze weergave. Een pagina die inloggen vereist, geautomatiseerde toegang blokkeert of per bezoeker een andere response geeft, toont mogelijk niet de content die jij in de browser ziet. Verwijder geen nuttige instructies alleen om een onbekende rij groen te maken. Stel eerst vast wat daadwerkelijk kon worden gelezen en probeer opnieuw wanneer de openbare response beschikbaar is.
Gebruik de Noindex Checker wanneer één URL nader onderzoek van verklaringen en uitzonderingen vereist. Bewaar het bulkresultaat als vergelijkingsrecord terwijl je die pagina afzonderlijk onderzoekt.
Crawltoestemming is een andere vraag. Deze tool leest geen robots.txt; gebruik de Robots.txt Tester voor die padregels. Google moet toegang hebben tot een pagina om de noindex-instructie te kunnen waarnemen. Een crawlblokkade combineren met een uitsluiting vereist daarom een afzonderlijke toegangscontrole, ook wanneer deze checker de URL kan ophalen.
Exporteer bevindingen en controleer dezelfde pagina's opnieuw
Filter op de groep die je wilt onderzoeken voordat je CSV downloadt. De CSV bevat de URL en statusclassificatie van de zichtbare rijen. Het is een compacte werklijst, geen volledige export van robots-onderbouwing: niet elke oorspronkelijke verklaring, de nofollow-waarde of alle responsedetails zijn opgenomen. Download het volledige rapport als JSON wanneer de ontvanger gedetailleerde onderbouwing en dekkingsinformatie nodig heeft.
Voor een reproduceerbare correctie:
- Bewaar de opgegeven URL's, het geselecteerde crawlerbereik en het oorspronkelijke rapport samen. Noteer naast de bevindingen het gewenste gedrag van elke pagina.
- Zoek de bron van de verklaring. Corrigeer een onbedoelde HTML-tag in de betreffende pagina of template; corrigeer een onbedoelde header in de instelling die deze publiceert. Behoud bewuste uitsluitingen.
- Controleer dezelfde reeks en hetzelfde bereik opnieuw zodra de bijgewerkte openbare responses beschikbaar zijn. Vergelijk naast de aantallen ook de oorspronkelijke onderbouwing; een gelijk totaal kan een andere verzameling URL's verbergen.
- Onderzoek overgebleven onbekende rijen afzonderlijk in plaats van ze als opgelost te tellen.
Als de gewijzigde response klopt maar Googles resultaat niet is veranderd, kan deze momentopname op zichzelf de verwerkingsstatus niet verklaren. De noindex-probleemoplossing van Google verwijst naar URL-inspectie en de rapporten voor pagina-indexering om te controleren wat Google heeft ontvangen. Een geslaagde hercontrole bevestigt de huidige waargenomen response, geen onmiddellijke nieuwe crawl of beloofd zoekresultaat.