Le Testeur de robots.txt vérifie si les règles d’un site autorisent un robot sélectionné à demander une URL précise. Testez le fichier en ligne ou collez un brouillon, puis examinez le groupe, la directive et la ligne correspondants. Le résultat explique l’autorisation d’exploration selon ces règles ; il ne confirme ni la visite d’un robot ni l’indexation de l’URL.
Choisir la source robots.txt et l’URL
Utilisez Site en ligne pour lire le fichier public que votre site sert actuellement. Saisissez https://example.com, le chemin /products/item et le robot à vérifier. Screpy demande /robots.txt ; il ne récupère pas la page testée et n’explore pas tout le site.
Utilisez Collez robots.txt pour un brouillon non publié. Le texte collé est analysé dans votre navigateur sans être téléversé. Indiquez l’adresse du site comme contexte afin que le testeur puisse résoudre l’URL cible.
Respectez le protocole et le nom d’hôte exacts : https://example.com, http://example.com et https://www.example.com sont des origines différentes. Un domaine sans protocole utilise HTTPS. Une URL de test complète doit avoir la même origine que le site saisi ; un chemin est résolu par rapport à celle-ci. Tester / vérifie uniquement le chemin de la page d’accueil. Conservez la casse réelle et les paramètres de requête lorsque vous vérifiez une autre URL.
Choisissez un robot prédéfini ou saisissez un jeton de produit personnalisé comme ExampleBot, plutôt qu’un en-tête user-agent complet de navigateur.
Lire le résultat du test robots.txt
Lisez le statut avec les éléments qui le justifient, notamment le groupe correspondant et la ligne surlignée.
| Statut | Signification | Élément à examiner |
|---|---|---|
| Autorisé — vert | Une règle Allow correspondante autorise cette URL. |
La directive et la ligne décisives. |
| Bloqué — rouge | Une règle Disallow correspondante bloque cette URL. |
Si le chemin et le robot sont bien ceux que vous visiez. |
| Autorisé par défaut — bleu | Aucune règle de chemin applicable ne restreint cette URL. | Le groupe sélectionné et la présence d’un fichier en ligne exploitable. |
| Indéterminé — jaune | Le contrôle en ligne ne peut pas établir de décision fondée sur les règles. | La réponse de la source ou l’avertissement de récupération. |
Pour un contrôle en ligne, examinez d’abord l’URL robots.txt et le statut HTTP. Ce testeur traite les réponses 404, 403 et les autres 4xx, sauf 429, comme une absence de restrictions publiées. Une limitation de requêtes, une panne serveur ou une redirection non résolue laisse la décision indéterminée ; un délai dépassé peut afficher une erreur au lieu d’un résultat. Ces situations ne prouvent pas l’existence d’un Disallow explicite. Les robots réels peuvent utiliser un fichier en cache ou gérer les erreurs autrement ; Google documente ses propres règles de réponse.
Examinez les avertissements d’analyse avant de vous fier à un résultat par défaut inattendu. Une directive mal orthographiée ou un deux-points manquant peut laisser la règle prévue inutilisée. Screpy traite au maximum les 500 premiers KiB et signale le contenu tronqué. En cas de troncature, la décision décrit la partie traitée ; les règles suivantes n’ont pas été vérifiées.
Comprendre quelle règle robots.txt l’emporte
Un groupe spécifique au robot est prioritaire sur User-agent: * ; les règles des deux ne sont pas héritées ensemble. Dans le groupe applicable, la règle de chemin correspondante la plus longue l’emporte. Si des règles Allow et Disallow de même spécificité correspondent, Allow l’emporte. Les groupes correspondants d’un même agent spécifique peuvent être combinés : examinez donc aussi les groupes répétés. Ces principes figurent dans le Protocole d’exclusion des robots.
Collez cette politique illustrative et comparez les tests suivants :
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Robot | Chemin testé | Résultat attendu | Motif |
|---|---|---|---|
| Bingbot | /private/report |
Bloqué | La règle globale /private/ correspond. |
| Bingbot | /private/help/guide |
Autorisé | L’exception plus longue /private/help/ l’emporte. |
| Googlebot | /private/report |
Autorisé par défaut | Son groupe spécifique n’a pas de règle correspondante ; le blocage global n’est pas hérité. |
| Googlebot | /preview/page |
Bloqué | Sa règle spécifique /preview/ correspond. |
L’exemple montre la correspondance des règles, pas un espace privé sécurisé. Les chemins sont sensibles à la casse : /Private/ diffère de /private/. Dans les motifs de chemin, * correspond à une suite de caractères et $ marque la fin. Par exemple, Disallow: /*.pdf$ correspond à /guide.pdf, mais pas à /guide.pdf?download=1. Testez l’URL exacte utilisée plutôt que de supposer que des variantes proches donnent le même résultat.
Tester séparément les robots de recherche et d’IA
Le jeton de produit sélectionné détermine les règles applicables. Vérifiez Googlebot et Bingbot individuellement lorsque l’exploration par les moteurs de recherche est en cause. Pour les agents d’IA, distinguez recherche, entraînement des modèles et récupération demandée par l’utilisateur, au lieu de supposer qu’une seule règle couvre tout.
OAI-SearchBot sert par exemple à la recherche ChatGPT, tandis que GPTBot explore du contenu susceptible de servir à l’entraînement des modèles. ChatGPT-User gère certaines actions initiées par l’utilisateur, et les règles robots.txt peuvent ne pas s’appliquer à ces requêtes, selon la documentation des robots d’OpenAI.
Sélectionner un préréglage évalue ce jeton au regard du fichier. Le contrôle en ligne ne se fait pas passer pour le robot choisi, n’authentifie pas ses requêtes et ne prouve pas son respect de la politique affichée. Un résultat bloqué pour un jeton déclenché par l’utilisateur est une interprétation des règles, pas une garantie d’arrêt des requêtes.
Corriger une règle et retester le fichier en ligne
Modifiez le moins possible la règle concernée, puis vérifiez la restriction voulue et l’exception à préserver.
- Copiez le fichier actuel dans le mode de collage et reproduisez le résultat inattendu avec la même URL et le même robot.
- Corrigez la directive ou le groupe correspondant. Testez le chemin concerné et une URL voisine qui doit rester autorisée ou bloquée.
- Répétez pour chaque robot pertinent. Un contrôle réussi avec Googlebot ne détermine pas le résultat pour Bingbot ou GPTBot.
- Après avoir publié le fichier sur votre propre site, passez en mode en ligne et répétez les contrôles. Confirmez que le fichier reçu et la ligne correspondante reflètent la modification. Une réponse récente de l’outil ne prouve pas qu’un robot réel a renouvelé sa copie en cache.
Si vous voulez retirer une page des résultats de recherche, Disallow seul ne suffit pas. Google doit pouvoir explorer la page pour lire sa directive noindex. Protégez le contenu confidentiel par authentification, pas avec robots.txt. Google explique les limites du blocage de l’exploration.
Le rapport liste aussi les déclarations Sitemap: ; trouver une adresse ne valide pas son XML et ne prouve pas l’indexation. Ouvrez-la dans le Vérificateur de sitemap pour ce contrôle distinct. Si l’accès du robot est correct mais que la page nécessite encore une investigation, utilisez le Vérificateur SEO On-Page pour examiner ses signaux SEO à l’échelle de la page.
Vérificateur Noindex: Repérez noindex dans le HTML et les en-têtes HTTP d’une page. Identifiez sa source et son application à la recherche Web Google.
Test d’accès des bots IA: Seules les règles robots.txt sont vérifiées. Le test ne confirme ni l’accès réel, ni l’indexation, ni les citations.