Gratis robots.txt-tester en validator
Controleer of een URL is toegestaan of geblokkeerd voor Google, AI-zoeken, training en aangepaste crawlers. Test een live website of plak een robots.txt-bestand om de toegepaste regel en regel te zien.
Test een crawlregel in drie stappen.
Controleer één URL zonder een project of account aan te maken. De live-modus leest alleen het openbare robots.txt-bestand van de website.
Kies de bron
Haal het openbare robots.txt-bestand van een website op of plak inhoud die je privé in je browser wilt testen.
Selecteer een crawler
Kies een producttoken voor zoeken, AI-zoeken, training, door de gebruiker gestart of een aangepaste crawler en voer het te testen URL-pad in.
Lees de exacte overeenkomst
Bekijk of de URL is toegestaan, welke groep van toepassing is en welke Allow- of Disallow-regel en regel het resultaat bepalen.
Begrijp waarom een crawler wordt toegestaan of geblokkeerd.
Een bruikbaar resultaat toont de regel achter de beslissing, niet alleen een groene of rode status.
De meest specifieke regel wint
De tester past het gedrag van de langste overeenkomst toe. Bij even specifieke conflicterende Allow- en Disallow-regels wint Allow als minst beperkende regel.
Jokertekens en eindovereenkomst
Gebruik een sterretje om een reeks tekens te matchen en een dollarteken om een regel aan het einde van de geteste URL te verankeren.
User-Agent-groepen zijn belangrijk
Een crawler-specifieke groep heeft voorrang op de globale *-groep. Test zoek-, trainings- en door gebruikers gestarte agents afzonderlijk.
Geen regel betekent standaardtoegang
Als geen toepasselijke Allow- of Disallow-regel overeenkomt, is de URL standaard toegestaan volgens het robots exclusion protocol.
Robots.txt regelt toegang, niet opname in zoekresultaten.
Crawlbeheer
Allow- en Disallow-regels geven een compatibele crawler aan welke URL-paden hij mag opvragen.
Indexeringsbeheer
Gebruik crawlbare noindex-directieven en verwijderingsprocedures voor zoekmachines wanneer een URL niet in zoekresultaten mag verschijnen.
Vragen over de robots.txt-tester
Duidelijke antwoorden over crawlregels, AI-crawlertokens, foutstatussen en indexering.
Wat doet een robots.txt-tester?
Een robots.txt-tester vergelijkt een crawler-user-agent en URL met de regels in een robots.txt-bestand. De tester toont of crawlen is toegestaan, welke User-Agent-groep van toepassing is en welke exacte regel overeenkomt.
Voorkomt robots.txt dat een pagina wordt geïndexeerd?
Niet op zichzelf. Robots.txt regelt crawlen, niet indexeren. Een geblokkeerde URL kan via links worden ontdekt en zonder volledige snippet verschijnen. Gebruik een geschikte noindex-directive op een crawlbare pagina als je de pagina uit zoekresultaten wilt verwijderen.
Wat betekent ‘Standaard toegestaan’?
Dit betekent dat de tester geen toepasselijke regel vond die de URL blokkeert. Er kan geen overeenkomende User-Agent-groep zijn, de groep kan geen relevante regel hebben of er kan geen bruikbaar robots.txt-bestand zijn.
Kan ik AI-crawlers apart van Googlebot testen?
Ja. Zoekcrawlers, AI-zoekcrawlers, modeltrainingscrawlers en door gebruikers gestarte fetchers gebruiken verschillende producttokens en kunnen verschillende regels hebben. Selecteer elke agent afzonderlijk om het toepasselijke beleid te controleren.
Wat betekenen * en $ in robots.txt?
Een sterretje matcht een reeks tekens in een URL-pad. Een dollarteken verankert een patroon aan het einde van de URL. De tester ondersteunt beide patronen om de meest specifieke toepasselijke regel te bepalen.
Wat gebeurt er als robots.txt een 404 of 403 teruggeeft?
Grote crawlers behandelen de meeste 4xx-antwoorden doorgaans alsof er geen crawlbeperkingen zijn gepubliceerd. Een 429-antwoord betekent tijdelijke snelheidsbeperking, daarom meldt de tester een onbepaalde live-status.
Waarom is een 5xx- of time-outresultaat onbepaald?
Een tijdelijke server- of netwerkfout bewijst niet dat een crawler is toegestaan of geblokkeerd. Crawlers kunnen verzoeken pauzeren of een eerder gecachet robots.txt-bestand gebruiken; de tester geeft daarom geen definitieve beslissing.
Slaat Screpy URL’s of geplakte robots.txt-inhoud op?
Nee. Geplakte inhoud wordt in je browser geanalyseerd en niet geüpload. De live modus stuurt alleen de website, geteste URL en geselecteerde crawler voor de huidige controle; deze invoer wordt niet opgeslagen.