Screpy’s AI Bot Access Tester controleert het robots.txt-beleid voor een exacte URL tegenover negen benoemde bots of controles voor inhoudsgebruik. Hij onderscheidt AI-zoeken, modeltraining en bezoeken op gebruikersverzoek, zodat je de passende regel beoordeelt. Het resultaat toont gepubliceerd beleid, geen bewijs dat een echte bot de pagina heeft bereikt, geïndexeerd of geciteerd.
Test de exacte URL en de oorsprong
Voer een domein of volledige openbare HTTP-/HTTPS-URL in. Alleen een domein controleert het hoofdpad; bij een volledig adres blijven pad en query behouden voor de regeltoets. Gaat het om een productgids, test die gids in plaats van de homepage-uitkomst overal toe te passen.
De tool haalt robots.txt op bij de oorsprong van de opgegeven URL. Subdomeinen en HTTP-/HTTPS-oorsprongen kunnen verschillende bestanden hebben. Controleer het echt gepubliceerde adres. Brondetails tonen het aangevraagde robots.txt-adres, het eindadres na omleidingen en de controletijd. Er worden maximaal vijf bronomleidingen gevolgd.
Zoek andere te onderzoeken hosts met Subdomain Finder en controleer het botbeleid per relevante oorsprong. Een certificaatvermelding bevestigt geen werkende website of daadwerkelijke toegang voor bots.
De pagina-URL is het doel van de regeltoets, niet van inhoudsanalyse. Een geslaagd robots.txt-verzoek bewijst dus niet dat het artikel bereikbaar of leesbaar is. Bewaar het geteste adres bij de uitkomst wanneer je wijzigingen vergelijkt.
Scheid AI-zoeken, training en bezoeken op verzoek
Een geblokkeerde trainingscrawler is niet automatisch een vindbaarheidsprobleem. Lees het doel voordat je elke rij groen wilt maken. Het huidige rapport omvat negen vermeldingen:
| Doel | Vermeldingen in het rapport | Betekenis |
|---|---|---|
| AI-zoeken | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Beoordelen voor ontdekking in de betreffende zoekervaring |
| Modeltraining | GPTBot, ClaudeBot | Training weigeren kan bewust en los van zoekbeleid zijn |
| Bezoek op gebruikersverzoek | ChatGPT-User, Claude-User, Perplexity-User | Lees de gedragsnotitie; de drie behandelen robots.txt verschillend |
| Controle op inhoudsgebruik | Google-Extended | Beleidstoken, geen eigen HTTP-crawler of Google-rankinginstelling |
OpenAI’s crawlerdocumentatie onderscheidt OAI-SearchBot van GPTBot en zegt dat robots.txt mogelijk niet geldt voor gebruikersgestuurde ChatGPT-User-verzoeken. Zoeken toestaan en training blokkeren is dus een afzonderlijke keuze, geen tegenstrijdig resultaat.
Anthropics botuitleg onderscheidt zoek-, trainings- en gebruikersagenten en vermeldt dat de bots robots.txt respecteren. Perplexity’s documentatie scheidt PerplexityBot van Perplexity-User, die robots.txt bij gebruikersverzoeken doorgaans negeert.
Googles uitleg over Google-Extended beschrijft inhoudsgebruik en vermeldt dat het token opname of ranking in Google Search niet beïnvloedt. Die rij test Googlebot of alle Google-AI-zoekfuncties niet. Doelen en gedrag kunnen wijzigen; raadpleeg deze primaire bronnen voor langer bestaand beleid.
Lees de toegepaste groep en overeenkomende regel
Het bewijs noemt bot, toegepaste groep, Allow- of Disallow-regel en bronregel. Een overeenkomende botspecifieke groep gaat vóór de wildcardgroep. Binnen toepasselijke regels wint het langste overeenkomende pad; bij gelijke specificiteit wint Allow. Geen passende beperking betekent dat geen verbod voor het doel is gevonden. Een expliciete Allow-regel is niet verplicht.
Denk aan een fictieve OAI-SearchBot-groep met Disallow voor /private/ en specifieker Allow voor /private/public-guide/. De gids kan toegestaan zijn terwijl /private/report/ geblokkeerd blijft. Een afzonderlijke GPTBot-groep die alles blokkeert verandert de OAI-SearchBot-beslissingen niet. Dit illustreert de toetsing en is geen beleid om zomaar te kopiëren.
Onbekend is niet geblokkeerd. Een onbereikbare bron, ongeldig bestand of overschreden grens laat het beleid onbeslist. De bronlimiet is 512 KiB. Een ontbrekende robots.txt met 404 of 410 betekent geen beperking in dat bestand, niet dat authenticatie of andere controles verdwijnen. Lees waarschuwingen en regeldiagnoses vóór wijzigingen. Gebruik voor een eigen user-agent of nadere controle de Robots.txt Tester.
Verander uitsluitend het bedoelde beleid
Begin bij gewenste AI-vindbaarheid met de zoekbotrijen en hun passende beperking. Bewaar bewuste trainings- en privépadregels in plaats van elke Disallow te verwijderen. Pas het bestand van de juiste oorsprong aan, publiceer en test dezelfde exacte URL opnieuw. Controleer ook een URL die geblokkeerd moet blijven om een te brede aanpassing te vinden.
Toegestaan beleid is geen echte toegangstest. De checker doet geen verzoeken als alle negen agenten, bekijkt geen botlogboeken en verifieert geen authenticatie of servertoegangsregels. Het aantal toegestane rijen is geen zichtbaarheidsscore; een ontbrekend bestand garandeert geen vrije toegang.
Onderzoek HTTP-reacties afzonderlijk met de Bulk HTTP Status Checker. Ook diens verzoek bewijst niet wat elke echte bot ontvangt. Gebruik de Noindex Checker voor pagina-instructies over indexering. Beleid, ophalen, indexering en bronselectie zijn aparte vragen. Een regelwijziging garandeert geen verkeer, aanbevelingen of citaties.
Controleer vóór publicatie de Markdown-structuur en gevonden links met de llms.txt-validator. Optionele HTTP-controles onderzoeken een begrensde selectie doelen; ze bewijzen niet dat een AI-agent het bestand leest.
Gebruik voor breder brononderzoek AI-zoekgereedheid controleren voor pagina-HTML, robots-regels en begrensde ontdekkingsbestanden samen. Technische bevindingen meten geen AI-zichtbaarheid en garanderen geen verwijzingen.