De Robots.txt-tester controleert of de regels van een website een geselecteerde crawler toestaan om een specifieke URL op te vragen. Test het livebestand of plak een concept en bekijk vervolgens de overeenkomende groep, instructie en regelnummer. Het resultaat verklaart de crawltoestemming volgens die regels; het bevestigt niet dat een bot de pagina heeft bezocht of dat de URL is geïndexeerd.
Kies de robots.txt-bron en URL
Gebruik Livewebsite om het openbare bestand te lezen dat je website momenteel aanbiedt. Voer https://example.com, het pad /products/item en de gewenste crawler in. Screpy vraagt /robots.txt op; de geteste pagina wordt niet opgehaald en de hele site wordt niet gecrawld.
Gebruik Plak robots.txt voor een ongepubliceerd concept. De geplakte tekst wordt zonder upload in je browser geanalyseerd. Geef het websiteadres als context op, zodat de tester de doel-URL kan bepalen.
Houd het protocol en de hostnaam exact: https://example.com, http://example.com en https://www.example.com zijn verschillende origins. Een domein zonder protocol gebruikt HTTPS. Een volledige test-URL moet dezelfde origin hebben als de ingevoerde website; een pad wordt ten opzichte daarvan aangevuld. Een test van / controleert alleen het homepagepad. Behoud bij andere URLs de werkelijke hoofdletters, kleine letters en queryparameters.
Kies een crawlerpreset of voer een aangepast producttoken zoals ExampleBot in, geen volledige user-agentheader van een browser.
Lees het resultaat van de robots.txt-test
Lees de status samen met de onderbouwing, vooral de overeenkomende groep en de gemarkeerde regel.
| Status | Betekenis | Wat je moet bekijken |
|---|---|---|
| Toegestaan — groen | Een overeenkomende Allow-regel staat deze URL toe. |
De doorslaggevende instructie en het regelnummer. |
| Geblokkeerd — rood | Een overeenkomende Disallow-regel blokkeert deze URL. |
Of het pad en de crawler overeenkomen met je bedoeling. |
| Standaard toegestaan — blauw | Geen toepasselijke padregel beperkt deze URL. | De gekozen groep en of een bruikbaar livebestand is ontvangen. |
| Onbepaald — geel | De livecontrole kan geen regelbeslissing vaststellen. | De bronrespons of waarschuwing over het ophalen. |
Bekijk bij een livecontrole eerst de robots.txt-URL en HTTP-status. Deze tester behandelt 404, 403 en andere 4xx-responsen behalve 429 alsof er geen beperkingen zijn gepubliceerd. Een verzoeklimiet, serverfout of onopgeloste redirect laat de beslissing onbepaald; een time-out kan een fout tonen in plaats van een resultaat. Dit bewijst geen expliciete Disallow. Echte crawlers kunnen een gecachet bestand gebruiken of fouten anders behandelen; Google documenteert zijn eigen responsregels.
Bekijk parserwaarschuwingen voordat je op een onverwacht standaardresultaat vertrouwt. Een verkeerd gespelde instructie of ontbrekende dubbele punt kan de bedoelde regel ongebruikt laten. Screpy verwerkt maximaal de eerste 500 KiB en meldt afgekorte inhoud. Bij afkorting beschrijft de beslissing het verwerkte gedeelte; latere regels zijn niet gecontroleerd.
Begrijp welke robots.txt-regel wint
Een crawler-specifieke groep heeft voorrang op User-agent: *; de regels van beide worden niet samen overgenomen. Binnen de toepasselijke groep wint de langste overeenkomende padregel. Bij even specifieke overeenkomende Allow- en Disallow-regels wint Allow. Overeenkomende groepen voor dezelfde specifieke agent kunnen worden gecombineerd, dus bekijk ook herhaalde groepen. Deze principes staan in het Robots Exclusion Protocol.
Plak dit voorbeeldbeleid en vergelijk de volgende tests:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Crawler | Getest pad | Verwacht resultaat | Reden |
|---|---|---|---|
| Bingbot | /private/report |
Geblokkeerd | De globale /private/-regel komt overeen. |
| Bingbot | /private/help/guide |
Toegestaan | De langere uitzondering /private/help/ wint. |
| Googlebot | /private/report |
Standaard toegestaan | Zijn specifieke groep heeft geen overeenkomende regel; de globale blokkade wordt niet overgenomen. |
| Googlebot | /preview/page |
Geblokkeerd | Zijn specifieke /preview/-regel komt overeen. |
Het voorbeeld demonstreert regelmatching, geen beveiligd privégedeelte. Paden zijn hoofdlettergevoelig: /Private/ verschilt van /private/. In padpatronen matcht * een reeks tekens en verankert $ het einde. Bijvoorbeeld: Disallow: /*.pdf$ matcht /guide.pdf, maar niet /guide.pdf?download=1. Test de exacte URL die je gebruikt, in plaats van aan te nemen dat vergelijkbare varianten hetzelfde resultaat geven.
Test zoek- en AI-crawlers afzonderlijk
Het gekozen producttoken bepaalt welke regels gelden. Controleer Googlebot en Bingbot afzonderlijk als het om zoekmachinecrawling gaat. Maak bij AI-agenten onderscheid tussen zoeken, modeltraining en door de gebruiker aangevraagde ophaalacties, in plaats van aan te nemen dat één regel alles dekt.
OAI-SearchBot dient bijvoorbeeld ChatGPT-zoeken, terwijl GPTBot inhoud crawlt die voor modeltraining kan worden gebruikt. ChatGPT-User voert bepaalde door gebruikers gestarte acties uit; robots.txt-regels zijn mogelijk niet van toepassing op die verzoeken, volgens OpenAI’s crawlerdocumentatie.
Een preset selecteren toetst dat token aan het bestand. De livecontrole doet zich niet voor als de gekozen bot, authenticeert zijn verzoeken niet en bewijst niet dat hij het getoonde beleid naleeft. Een geblokkeerd resultaat voor een door de gebruiker gestart token is een regelinterpretatie, geen garantie dat verzoeken stoppen.
Herstel een regel en test het livebestand opnieuw
Pas de relevante regel zo beperkt mogelijk aan en controleer zowel de bedoelde beperking als de uitzondering die je wilt behouden.
- Kopieer het huidige bestand naar de plakmodus en reproduceer het onverwachte resultaat met dezelfde URL en crawler.
- Corrigeer de overeenkomende instructie of groep. Test het getroffen pad en een naburige URL die toegestaan of geblokkeerd moet blijven.
- Herhaal dit voor elke relevante crawler. Een geslaagde Googlebot-controle bepaalt het resultaat voor Bingbot of GPTBot niet.
- Schakel na publicatie van het bestand op je eigen website naar de livemodus en herhaal de controles. Bevestig dat het ontvangen bestand en de overeenkomende regel de wijziging tonen. Een verse toolrespons bewijst niet dat een echte crawler zijn gecachete kopie heeft vernieuwd.
Als het doel verwijdering uit zoekresultaten is, volstaat Disallow alleen niet. Google moet de pagina kunnen crawlen om de noindex-instructie te lezen. Bescherm vertrouwelijke inhoud met authenticatie, niet met robots.txt. Google legt de grenzen van crawlblokkering uit.
Het rapport vermeldt ook Sitemap:-declaraties; een gevonden adres valideert de XML niet en bewijst geen indexering. Open het in de Sitemap Checker voor die aparte controle. Als crawlertoegang klopt maar de pagina nog onderzoek nodig heeft, gebruik dan de On-Page SEO Checker om de SEO-signalen op paginaniveau te bekijken.
Noindex Checker: Vind noindex in de HTML en HTTP-headers van een pagina. Bekijk de bron en of de richtlijn geldt voor Google-webzoekopdrachten.
AI-bottoegang testen: Dit controleert alleen robots.txt-regels. Het bevestigt geen daadwerkelijke bottoegang, indexering of bronvermeldingen.