Le générateur robots.txt gratuit de Screpy crée un fichier texte à partir de vos groupes de robots, règles Allow et Disallow, et URL de sitemaps. Préparez un nouveau fichier ou reproduisez une politique déjà définie. Copiez le résultat ou téléchargez robots.txt, puis publiez-le sur votre site.
Le générateur ne lit pas votre fichier existant, ne teste pas les URL publiées et n'installe aucun changement. Avant de remplacer une configuration fonctionnelle, conservez-en une copie et définissez les chemins que chaque robot doit pouvoir demander. Un fichier peut être syntaxiquement valide tout en exprimant une politique inadaptée à votre site.
Comment utiliser le générateur robots.txt
Commencez par le groupe * pour la politique générale. Ajoutez une règle, choisissez Allow ou Disallow, puis indiquez un chemin commençant par /. Saisissez par exemple /drafts/, et non https://example.com/drafts/. Ajoutez un groupe uniquement lorsqu'un robot nommé a besoin de règles particulières.
Vous pouvez configurer jusqu'à 10 groupes distincts, 50 règles explicites au total et 10 URL de sitemaps. Utilisez le nom de produit du robot, comme Googlebot, plutôt qu'une chaîne User-Agent complète de navigateur. Deux noms ne différant que par les majuscules ne constituent pas des groupes distincts dans cet outil.
Saisissez chaque adresse complète HTTP ou HTTPS de sitemap sur une ligne. Laissez ce champ vide si vous n'avez pas d'adresse à fournir. Générez le fichier, examinez les alertes, puis copiez ou téléchargez le résultat. Un groupe sans règle explicite produit Allow: /. Le compteur peut donc rester à zéro alors que cette ligne par défaut figure dans le fichier. Il s'agit des limites du générateur, pas de celles du protocole robots.txt.
Exemple de robots.txt avec une exception autorisée
Cette configuration fictive restreint l'exploration d'un dossier de brouillons tout en laissant un sous-dossier public accessible. C'est un exemple à adapter, pas une configuration universelle à appliquer à tous les sites.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Pour un robot utilisant ce groupe, les décisions attendues sont les suivantes :
| Chemin d'URL | Décision d'exploration | Explication |
|---|---|---|
/products/blue-mug/ |
Autorisée | Aucune restriction ne correspond. |
/drafts/new-page/ |
Interdite | Le dossier restreint correspond. |
/drafts/public/style-guide/ |
Autorisée | Le chemin Allow plus long crée une exception. |
/drafts |
Autorisée | Il ne contient pas la barre finale de /drafts/. |
La dernière ligne compte si votre application propose les deux variantes du dossier. Testez les URL réellement disponibles, avec leurs variantes de barre finale et de paramètres. Une décision décrit l'autorisation donnée par le fichier, sans prouver l'accessibilité HTTP ni l'indexation. La ligne Sitemap indique un emplacement et ne remplace pas une règle Disallow.
Utiliser les jokers pour viser les bons chemins
Vérifiez chaque règle sur une URL qui doit correspondre et une URL semblable qui doit rester explorable. Les chemins sont sensibles à la casse : /Catalog/ et /catalog/ diffèrent. Une barre manquante ou un préfixe trop large peut modifier les pages concernées.
| Motif | Point à vérifier avant utilisation |
|---|---|
/catalog |
C'est un préfixe : /catalogue/ correspond aussi. |
/catalog/ |
Vise les descendants du dossier, mais pas /catalog seul. |
/catalog$ |
Vise la terminaison exacte, pas /catalog/ ni /catalog?sort=price. |
/*.pdf$ |
Vise une URL se terminant par .pdf en minuscules ; une requête après l'extension change cette terminaison. |
Le Robots Exclusion Protocol définit * comme une suite de caractères et $ comme la fin d'une correspondance. Un # littéral commence un commentaire. Encodez un dièse ou un espace appartenant à l'URL au lieu de le saisir tel quel dans le chemin. Gardez des motifs assez précis pour expliquer et vérifier leur effet. Le formulaire conserve vos motifs, mais ne calcule pas toutes les URL qu'ils pourraient toucher.
Donner à chaque robot un groupe complet de règles
Les restrictions du groupe générique ne s'ajoutent pas automatiquement au groupe spécifique de Googlebot. Par exemple :
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Ici, le groupe Googlebot restreint /previews/, mais pas /drafts/. Si les deux dossiers doivent être restreints pour Googlebot, ajoutez les deux règles à son groupe. La spécification robots.txt de Google explique le choix des groupes et les correspondances. Pour des règles Allow et Disallow contradictoires de même spécificité, Google choisit Allow. Déplacer une règle plus bas dans le fichier ne lui donne pas la priorité.
N'ajoutez un groupe spécifique que lorsque la distinction souhaitée est claire. Les robots de recherche, d'entraînement et de récupération demandée par l'utilisateur peuvent employer des identifiants différents. Examinez les règles d'un robot pris en charge avec AI Bot Access Tester plutôt que de supposer qu'un groupe contrôle toutes les activités d'un service.
Lire les alertes avant de copier le fichier
Le rapport souligne trois situations nécessitant une décision réfléchie. Une alerte invite à revoir la politique ; elle ne prouve pas que le fichier est inutilisable.
| Alerte | Ce qu'il faut examiner |
|---|---|
| Disallow couvrant tout le site | Un groupe contient Disallow: /. Confirmez que cette restriction large est voulue et examinez les exceptions Allow plus précises. |
| Groupe propre à un robot | Le groupe générique contient des règles explicites et un autre robot a son propre groupe. Vérifiez que ce dernier comprend les restrictions prévues. |
| Allow et Disallow sur le même chemin | Les deux actions utilisent le même chemin dans un groupe. Supprimez un conflit involontaire ; à spécificité égale, Google préfère Allow. |
Un résultat sans alerte n'est pas un audit de l'exploration réelle. Ces vérifications ne déterminent ni si une ressource est nécessaire au rendu, ni si un sitemap est accessible, ni si chaque motif vise les bonnes pages. Laissez explorables les feuilles de style, scripts et images nécessaires à la page. Ne bloquez pas tout un dossier de ressources simplement parce qu'un modèle générique le propose.
Publier robots.txt et vérifier la réponse réelle
Sauvegardez le fichier actuel avant de le remplacer. Publiez le texte généré comme une ressource texte UTF-8 nommée exactement robots.txt, sans extension .txt supplémentaire. Pour un site HTTPS sur www.example.com, vérifiez https://www.example.com/robots.txt. Un fichier à /blog/robots.txt ne configure pas tout l'hôte. Le protocole, l'hôte et le port comptent.
Sur WordPress, un autre CMS ou un créateur de sites hébergé, identifiez d'abord ce qui sert cette URL : fichier physique, réponse générée par une extension ou paramètre de la plateforme. Modifiez la source responsable. Un second fichier placé ailleurs ne change pas forcément la réponse publiée. Screpy ne fournit pas de modèles de CMS et ne publie pas le fichier à votre place.
Après publication :
- Ouvrez l'adresse exacte de robots.txt sans connexion et vérifiez que le texte attendu s'affiche, et non une page de connexion ou du HTML.
- Testez les URL importantes autorisées et interdites avec Robots.txt Tester, y compris les exceptions et variantes de chemins.
- Examinez les réponses inattendues avec HTTP Headers Checker et vérifiez séparément le sitemap déclaré avec Sitemap Checker.
Le guide de création de Google décrit la mise en ligne et les vérifications d'accès public. Les robots découvrent le fichier publié ; le télécharger ici ne le soumet pas. Une copie en cache peut aussi retarder la prise en compte d'une modification.
Choisir le bon contrôle pour l'indexation ou les pages privées
Utilisez robots.txt pour communiquer les restrictions d'exploration. Pour exclure de Google une page qui reste publique, Google décrit noindex dans une balise meta ou un en-tête de réponse HTTP. Google doit pouvoir accéder à la page pour lire cette instruction. Bloquer la même URL dans robots.txt peut l'en empêcher ; Google ne prend pas en charge une ligne Noindex: dans ce fichier.
Examinez les directives existantes avec Noindex Checker avant de choisir une solution. Pour des documents confidentiels ou un environnement de test privé, utilisez l'authentification et des contrôles d'accès adaptés. Ni un robots.txt public ni une instruction noindex ne sécurisent l'accès au contenu. Ajouter des règles ne remplace pas le choix du bon contrôle.