De gratis robots.txt-generator van Screpy maakt een tekstbestand van je crawlergroepen, Allow- en Disallow-regels en sitemap-URL's. Gebruik hem voor een nieuw bestand of om een eerder bedacht beleid opnieuw vast te leggen. Kopieer het resultaat of download robots.txt en publiceer het vervolgens op je eigen website.
De generator leest je bestaande bestand niet, test geen gepubliceerde URL's en installeert geen wijzigingen. Bewaar een kopie voordat je een werkende configuratie vervangt en bepaal welke paden iedere crawler mag opvragen. Een bestand kan een geldige syntaxis hebben en toch het verkeerde beleid voor je website beschrijven.
Zo gebruik je de robots.txt-generator
Begin met crawlergroep * voor het algemene beleid. Voeg een regel toe, kies Allow of Disallow en vul een pad in dat met / begint. Gebruik bijvoorbeeld /drafts/, niet https://example.com/drafts/. Voeg alleen een aparte groep toe als een specifieke crawler eigen regels nodig heeft.
Je kunt maximaal 10 unieke crawlergroepen, 50 expliciete regels over alle groepen en 10 sitemap-URL's instellen. Gebruik het producttoken van de crawler, zoals Googlebot, in plaats van een volledige User-Agent-tekenreeks van een browser. Namen die alleen in hoofdletters verschillen, vormen in deze tool geen afzonderlijke groepen.
Zet ieder volledig HTTP- of HTTPS-sitemapadres op een eigen regel. Laat het veld leeg als je geen adres hebt om toe te voegen. Genereer het bestand, bekijk de waarschuwingen en kopieer of download de uitvoer. Een groep zonder expliciete regels levert Allow: / op. De teller kan dus nul aangeven terwijl die standaardregel wel in het bestand staat. Dit zijn beperkingen van de generator, niet van het robots.txt-protocol.
Een robots.txt-voorbeeld met een toegestane uitzondering
Deze fictieve configuratie beperkt het crawlen van een conceptenmap, maar houdt een openbare submap toegankelijk. Het is een voorbeeld om aan te passen, geen aanbevolen standaard voor iedere website.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Voor een crawler die deze groep gebruikt, zijn dit de verwachte beslissingen:
| URL-pad | Crawlbeslissing | Reden |
|---|---|---|
/products/blue-mug/ |
Toegestaan | Geen beperking komt overeen. |
/drafts/new-page/ |
Geblokkeerd | De geblokkeerde map komt overeen. |
/drafts/public/style-guide/ |
Toegestaan | Het langere Allow-pad geeft een uitzondering. |
/drafts |
Toegestaan | De afsluitende slash van /drafts/ ontbreekt. |
De laatste rij is belangrijk als je toepassing beide mapvarianten aanbiedt. Test de URL's die je site werkelijk beschikbaar stelt, inclusief varianten met slashes en query's. Een beslissing beschrijft de toestemming volgens het bestand; ze bewijst geen HTTP-bereikbaarheid of indexering. De Sitemap-regel verwijst naar een bestandslocatie en heft Disallow niet op.
Laat jokertekens de bedoelde paden herkennen
Controleer een regel met een URL die moet overeenkomen én een vergelijkbare URL die crawlbaar moet blijven. Paden zijn hoofdlettergevoelig: /Catalog/ en /catalog/ verschillen. Een ontbrekende slash of te ruim voorvoegsel kan andere pagina's raken dan bedoeld.
| Patroon | Wat je vóór gebruik controleert |
|---|---|
/catalog |
Een voorvoegsel: ook /catalogue/ komt overeen. |
/catalog/ |
Komt overeen met onderliggende paden van de map, maar niet met alleen /catalog. |
/catalog$ |
Komt overeen met het exacte einde, niet met /catalog/ of /catalog?sort=price. |
/*.pdf$ |
Herkent een URL die eindigt op kleine letters .pdf; een query na de extensie verandert dat einde. |
Het Robots Exclusion Protocol definieert * voor een reeks tekens en $ voor het einde van een overeenkomst. Een letterlijk # begint een opmerking. Codeer een hekje of spatie die bij een URL hoort in plaats van die ongecodeerd in het pad te zetten. Houd patronen beperkt genoeg om hun effect te kunnen uitleggen en testen. Het formulier bewaart je patronen, maar berekent niet alle URL's waarop ze invloed kunnen hebben.
Geef iedere crawler een volledige regelgroep
De beperkingen van de algemene groep worden niet automatisch toegevoegd aan de specifieke Googlebot-groep. Bijvoorbeeld:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Hier beperkt de Googlebot-groep /previews/, maar niet /drafts/. Moeten beide mappen voor Googlebot beperkt zijn, voeg dan beide regels aan zijn groep toe. Googles robots.txt-specificatie legt groepskeuze en overeenkomsten uit. Bij conflicterende Allow- en Disallow-regels met dezelfde specificiteit kiest Google Allow. Dezelfde regel verder naar beneden verplaatsen geeft hem geen voorrang.
Voeg alleen een specifieke groep toe als je het gewenste verschil kent. Crawlers voor zoeken, training en door gebruikers aangevraagde verzoeken kunnen andere tokens gebruiken. Bekijk de regels voor een ondersteunde bot met AI Bot Access Tester in plaats van aan te nemen dat één groep alle activiteiten van een dienst beheerst.
Lees de waarschuwingen voordat je kopieert
Het rapport markeert drie situaties die een bewuste keuze vragen. Een waarschuwing nodigt uit tot controle; ze bewijst niet dat het bestand onbruikbaar is.
| Waarschuwing | Wat je controleert |
|---|---|
| Disallow voor de hele site | Een groep bevat Disallow: /. Controleer of die brede beperking bedoeld is en bekijk eventuele specifiekere Allow-uitzonderingen. |
| Specifieke crawlergroep | De algemene groep heeft expliciete regels en een andere crawler een eigen groep. Bevat die laatste de bedoelde beperkingen? |
| Allow en Disallow voor hetzelfde pad | Beide acties gebruiken hetzelfde pad in een groep. Verwijder een onbedoeld conflict; bij gelijke specificiteit geeft Google Allow voorrang. |
Uitvoer zonder waarschuwingen is geen audit van werkelijk crawlgedrag. Deze controles bepalen niet of een bron nodig is om de pagina weer te geven, of een sitemap bereikbaar is of ieder patroon de juiste pagina's raakt. Houd benodigde stylesheets, scripts en afbeeldingen crawlbaar. Blokkeer niet een hele bronnenmap alleen omdat een algemene template dat doet.
Publiceer robots.txt en controleer de werkelijke respons
Bewaar het huidige bestand voordat je het vervangt. Publiceer de gegenereerde tekst als UTF-8-tekstbron met exact de naam robots.txt, zonder extra .txt-extensie. Controleer voor een HTTPS-site op www.example.com het adres https://www.example.com/robots.txt. Een bestand onder /blog/robots.txt configureert niet de hele host. Het protocol, de host en de poort doen ertoe.
Bepaal in WordPress, een ander CMS of een gehoste websitebouwer eerst wat die URL levert: een fysiek bestand, een pluginrespons of een platforminstelling. Werk die bron bij. Een tweede bestand elders plaatsen verandert de gepubliceerde respons niet noodzakelijk. Screpy biedt geen CMS-templates en publiceert het bestand niet voor je.
Na publicatie:
- Open het exacte robots.txt-adres zonder ingelogd te zijn. Controleer of je de bedoelde tekst krijgt in plaats van een aanmeldscherm of HTML-pagina.
- Gebruik Robots.txt Tester voor belangrijke toegestane en geblokkeerde URL's, inclusief uitzonderingen en andere schrijfwijzen.
- Onderzoek onverwachte antwoorden met HTTP Headers Checker en controleer de opgegeven sitemap apart met Sitemap Checker.
Googles handleiding voor het maken van robots.txt beschrijft uploaden en openbare toegang controleren. Crawlers ontdekken het gepubliceerde bestand; het hier downloaden dient het niet in. Een gecachte kopie kan ervoor zorgen dat wijzigingen niet direct worden gezien.
Kies het juiste middel voor indexering of privépagina's
Gebruik robots.txt om crawlbeperkingen door te geven. Wil je een verder openbare pagina buiten Google houden, dan beschrijft Google noindex via een metatag of HTTP-responsheader. Google moet de pagina kunnen bereiken om die instructie te lezen. Dezelfde URL in robots.txt blokkeren kan dat verhinderen. Een regel Noindex: in robots.txt wordt niet door Google ondersteund.
Controleer bestaande instructies met Noindex Checker voordat je een oplossing kiest. Gebruik voor vertrouwelijke documenten of een besloten testomgeving authenticatie en geschikte toegangscontrole. Noch een openbaar robots.txt-bestand, noch een noindex-instructie beveiligt de toegang tot inhoud. Meer regels genereren vervangt de keuze voor het juiste middel niet.