Regels voor AI-zoekbots
Voer een domein of volledige HTTP/HTTPS-URL in. Pad en query blijven behouden; robots.txt wordt vanaf de oorsprong opgehaald. De passende botspecifieke groep gaat voor de wildcardgroep. Langere passende regels hebben voorrang; bij gelijke specificiteit wint Allow. Maximaal vijf omleidingen worden gevolgd.
AI-zoeken
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Wil je via AI-zoeken gevonden worden? Bekijk de passende Disallow-regel voordat je die wijzigt. Dit controleert alleen robots.txt-regels. Het bevestigt geen daadwerkelijke bottoegang, indexering of bronvermeldingen.
Modeltraining
GPTBot · ClaudeBot
Een trainingsbot blokkeren kan een bewuste keuze zijn. Het is niet automatisch een SEO-probleem.
Bezoeken op verzoek
ChatGPT-User: robots.txt is mogelijk niet van toepassing op bezoeken op verzoek.
Claude-User respecteert robots.txt bij bezoeken op verzoek.
Perplexity-User: Deze bot negeert robots.txt doorgaans bij bezoeken op verzoek.
Regels voor inhoudsgebruik
Google-Extended: Dit regelt inhoudsgebruik, geen aparte HTTP-crawler en niet Google Zoeken.
Bron
Een onbereikbare reactie, ongeldig document of overschreden limiet levert een onbekend resultaat op. Bij een ontbrekend bestand met status 404 of 410 wordt geen robots.txt-beperking aangenomen. De robots.txt-reactie is beperkt tot 512 KiB.
Noindex Checker · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Test de URL die gevonden moet worden
Controleer een openbare artikel- of product-URL, niet alleen de homepage. Een regel die / toestaat kan naast een beperking op /private/ bestaan; het resultaat hangt af van het aangevraagde pad. Bekijk bij https://example.com/private/report/ de toegepaste groep en passende regel voordat u de blokkade beoordeelt.
Het rapport onderscheidt toegestane, geblokkeerde en onbekende beleidsresultaten. Lees eerst de zoekbotregels wanneer vindbaarheid uw doel is. Een groen totaal bewijst geen toestemming voor elke categorie of toekomstige vermelding in een antwoord.
Beslis afzonderlijk over zoeken en trainen
U kunt OAI-SearchBot toestaan en GPTBot blokkeren. Deze keuzes dienen verschillende doelen: pagina’s beschikbaar maken voor zoeken vereist geen gelijke behandeling van alle trainingsbots. Het onderscheid geldt ook voor andere bots. Controleer het doel van elke user-agent in de gepubliceerde documentatie.
Controleer opnieuw na een robots.txt-wijziging
Bewerk de regel op de origin van de geteste URL, publiceer en test dezelfde URL opnieuw. Controleer ook een URL buiten de beperkte map om te brede wijzigingen op te merken. Behoud bewuste beperkingen in plaats van alle Disallow-regels te verwijderen.
Faalt toegang ondanks een toestemmend beleid, onderzoek dan authenticatie, HTTP-antwoorden en serverbeperkingen afzonderlijk. Deze checker verifieert die controles niet. Gebruik de Bulk HTTP Status Checker voor antwoorden en de Noindex Checker voor indexeringsinstructies.