L’AI Bot Access Tester de Screpy évalue la politique robots.txt d’une URL précise pour neuf robots ou contrôles d’utilisation du contenu. Il distingue recherche par IA, entraînement et visites demandées par l’utilisateur pour examiner la règle adaptée à votre objectif. Le résultat décrit la politique publiée, pas l’accès, l’indexation ou la citation par un véritable robot.
Testez l’URL exacte et son origine
Saisissez un domaine ou une URL HTTP/HTTPS publique complète. Le domaine seul teste la racine ; une adresse complète conserve chemin et paramètres pour l’évaluation. Si votre question concerne un guide produit, testez ce guide plutôt que d’étendre le résultat de l’accueil à tout le site.
L’outil récupère robots.txt depuis l’origine de l’URL fournie. Sous-domaines et origines HTTP/HTTPS peuvent avoir des fichiers différents. Vérifiez l’adresse réellement publiée. Les détails indiquent l’adresse demandée de robots.txt, son adresse finale après redirections et l’heure. Cinq redirections de source maximum sont suivies.
Utilisez Recherche de sous-domaines pour trouver d'autres hôtes à examiner, puis vérifiez séparément la politique des bots de chaque origine pertinente. Un certificat ne confirme ni un site fonctionnel ni un accès effectif des bots.
L’URL de page sert au rapprochement des règles, pas à l’analyse du contenu. Récupérer robots.txt ne prouve donc pas que l’article soit accessible ou lisible. Conservez l’adresse testée avec le résultat lors des comparaisons avant/après.
Distinguez recherche IA, entraînement et visites demandées
Bloquer un robot d’entraînement n’est pas automatiquement un problème de découverte. Lisez l’objectif de chaque ligne avant de vouloir tout mettre au vert. Le rapport couvre actuellement neuf entrées :
| Objectif | Entrées du rapport | Interprétation |
|---|---|---|
| Recherche par IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | À examiner pour la découverte dans chaque expérience de recherche |
| Entraînement | GPTBot, ClaudeBot | Un refus d’entraînement peut être voulu et distinct de la recherche |
| Visites demandées par l’utilisateur | ChatGPT-User, Claude-User, Perplexity-User | Lire la note : ces trois agents traitent robots.txt différemment |
| Contrôle d’utilisation du contenu | Google-Extended | Jeton de contrôle, pas robot HTTP distinct ni réglage du classement Google |
La documentation des robots OpenAI distingue OAI-SearchBot de GPTBot et indique que robots.txt peut ne pas s’appliquer aux demandes ChatGPT-User initiées par une personne. Autoriser la recherche tout en bloquant l’entraînement constitue donc un choix distinct, pas une contradiction.
Les consignes d’Anthropic séparent agents de recherche, d’entraînement et d’utilisateur, et précisent qu’ils respectent robots.txt. La documentation de Perplexity distingue PerplexityBot de Perplexity-User, qui ignore généralement robots.txt lors des récupérations demandées par l’utilisateur.
La documentation Google-Extended de Google décrit l’utilisation du contenu et précise que ce jeton ne modifie ni inclusion ni classement dans Google Search. Cette ligne ne teste pas Googlebot ou toutes les fonctions de recherche IA de Google. Les rôles peuvent évoluer ; consultez ces sources pour réexaminer une politique durable.
Lisez le groupe appliqué et la règle correspondante
Les éléments relevés montrent robot, groupe, règle Allow ou Disallow et ligne source. Un groupe spécifique correspondant prime sur le groupe générique. Parmi les règles applicables, le chemin correspondant le plus long prime ; à spécificité égale, Allow gagne. Aucune restriction correspondante signifie qu’aucune interdiction applicable n’a été trouvée. Une ligne Allow explicite n’est pas obligatoire.
Imaginez un groupe fictif OAI-SearchBot avec Disallow pour /private/ et un Allow plus précis pour /private/public-guide/. Le guide peut être autorisé et /private/report/ rester bloqué. Ajouter un groupe GPTBot bloquant tous les chemins ne change pas les décisions OAI-SearchBot. Cela illustre la correspondance, sans proposer une politique à copier.
Inconnu ne signifie pas bloqué. Source inaccessible, document invalide ou limite dépassée laissent la politique indéterminée. La source est limitée à 512 KiB. Un robots.txt absent renvoyant 404 ou 410 signifie aucune restriction trouvée dans ce fichier, pas disparition de l’authentification ou des autres contrôles. Examinez avertissements et diagnostics de lignes avant modification. Pour un agent personnalisé ou une analyse détaillée, utilisez le Robots.txt Tester.
Modifiez uniquement la politique voulue
Si la découverte en recherche IA est souhaitée, commencez par les lignes des robots de recherche et la restriction correspondante. Préservez les choix d’entraînement et les chemins privés au lieu de supprimer tous les Disallow. Modifiez le fichier de la bonne origine, publiez-le et retestez la même URL exacte. Contrôlez aussi une URL qui doit rester bloquée pour repérer un changement trop large.
Une politique autorisée n’est pas un test d’accès réel. L’outil n’envoie pas de requêtes sous les neuf identités, ne lit pas les journaux et ne vérifie pas authentification ou règles d’accès serveur. Le total autorisé n’est pas un score de visibilité ; un fichier absent ne garantit pas un accès libre.
Examinez les réponses avec le Bulk HTTP Status Checker, dont la requête ne prouve pas non plus ce que reçoit chaque robot authentique. Pour les instructions d’indexation, utilisez le Noindex Checker. Politique, récupération, indexation et choix d’une source sont des questions distinctes. Une modification ne garantit ni trafic, ni recommandations, ni citations.
Avant publication, utilisez le validateur llms.txt pour vérifier la structure Markdown et les liens découverts. Les contrôles HTTP facultatifs examinent une sélection limitée de destinations ; ils ne prouvent pas qu’un agent IA lise le fichier.
Pour un examen plus large, utilisez Préparation à la recherche IA pour réunir HTML, règles robots et fichiers de découverte limités. Les constats techniques ne mesurent pas la visibilité IA et ne garantissent aucune citation.