Règles des bots de recherche IA
Saisissez un domaine ou une URL HTTP/HTTPS complète. Le chemin et la requête sont conservés ; robots.txt est chargé depuis l’origine. Le groupe spécifique correspondant prime sur le groupe générique. Les règles correspondantes les plus longues priment ; Allow gagne à spécificité égale. Jusqu’à cinq redirections sont suivies.
Recherche IA
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Si vous souhaitez être trouvé dans la recherche IA, examinez la règle Disallow correspondante avant de la modifier. Seules les règles robots.txt sont vérifiées. Le test ne confirme ni l’accès réel, ni l’indexation, ni les citations.
Entraînement des modèles
GPTBot · ClaudeBot
Bloquer un bot d’entraînement peut être volontaire. Ce n’est pas automatiquement un problème de SEO.
Visites demandées par les utilisateurs
ChatGPT-User: robots.txt peut ne pas s’appliquer aux visites demandées par les utilisateurs.
Claude-User respecte robots.txt lors des visites demandées par les utilisateurs.
Perplexity-User: Ce bot ignore généralement robots.txt lors des visites demandées par les utilisateurs.
Contrôles d’utilisation du contenu
Google-Extended: Ce contrôle concerne l’utilisation du contenu, pas un robot HTTP distinct ni la recherche Google.
Source
Une réponse inaccessible, un document invalide ou une limite dépassée produit un résultat inconnu. Avec un fichier absent et un statut 404 ou 410, aucune restriction robots.txt n’est supposée. La réponse robots.txt est limitée à 512 KiB.
Vérificateur Noindex · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Testez l’URL que vous voulez rendre découvrable
Vérifiez une URL publique d’article ou de produit, pas seulement l’accueil. Une règle autorisant / peut coexister avec une restriction sur /private/ ; le résultat dépend du chemin demandé. Pour https://example.com/private/report/, examinez le groupe appliqué et la règle correspondante avant de juger le blocage.
Le rapport distingue les résultats autorisés, bloqués et inconnus. Consultez d’abord les lignes des robots de recherche si votre objectif est la découverte. Un total vert ne prouve ni l’autorisation de toutes les catégories ni une future citation du contenu.
Séparez recherche et entraînement
Vous pouvez autoriser OAI-SearchBot tout en bloquant GPTBot. Ces choix servent des objectifs différents : ouvrir les pages à la recherche ne demande pas de traiter tous les robots d’entraînement de la même manière. Cette distinction vaut aussi pour les autres robots. Confirmez la fonction de chaque agent dans sa documentation publiée.
Vérifiez après une modification de robots.txt
Modifiez la règle sur l’origine de l’URL testée, publiez-la et relancez cette même URL. Testez aussi une URL hors du répertoire restreint pour repérer une modification trop large. Préservez les restrictions voulues plutôt que supprimer toutes les lignes Disallow.
Si la politique autorise l’accès mais que celui-ci échoue, vérifiez séparément authentification, réponses HTTP et restrictions du serveur. Cet outil ne confirme pas ces contrôles. Utilisez le Vérificateur HTTP en lot pour les réponses et le Vérificateur Noindex pour les directives d’indexation.