Utilisez le Vérificateur Meta Robots en Lot pour comparer les directives noindex et nofollow de jusqu’à 20 URL publiques. Il lit les balises robots du HTML et les en-têtes de réponse X-Robots-Tag, puis regroupe les résultats observés selon le robot sélectionné. Vous pouvez ainsi repérer une exclusion inattendue dans plusieurs modèles de page ou vérifier des exclusions volontaires après une modification. Le rapport décrit les réponses que l’outil a pu lire ; il ne détermine pas si Google a indexé ces pages.
Choisissez les pages à vérifier et le périmètre du robot
Commencez par les pages concernées par la modification à contrôler. Après avoir modifié un modèle de produit, ajoutez plusieurs URL de produits et une page de catégorie. Après une migration, incluez des pages de destination importantes et des URL censées rediriger. Un petit lot représentatif permet de comparer le comportement de différents types de page ; il ne prouve pas que tout le site se comporte de la même façon.
Déterminez quelles pages devraient pouvoir apparaître dans la recherche et lesquelles sont volontairement exclues. Une page de produit publique et une page de remerciement peuvent avoir des exigences différentes. Un avertissement noindex mérite une vérification lorsqu’il contredit cette exigence, pas simplement parce qu’il porte une icône d’avertissement.
Collez des URL HTTP ou HTTPS complètes, une par ligne, sans dépasser 20 lignes non vides. Les URL identiques après normalisation sont vérifiées une seule fois, mais supprimez les doublons avant d’envoyer une liste qui dépasse la limite. L’outil contrôle les adresses fournies ; il ne découvre pas d’autres pages de votre domaine et n’importe pas de sitemap.
Sélectionnez Googlebot pour interpréter les déclarations générales avec celles qui ciblent Googlebot. L’option des robots génériques se concentre sur les déclarations générales. Ce choix modifie les instructions applicables dans le rapport. Il ne transforme pas la requête en une véritable visite de Googlebot et ne prouve pas que Google reçoit une réponse identique.
Interprétez noindex, aucune observation de noindex et inconnu
Le résumé et les filtres regroupent les URL selon le résultat observé pour noindex. L’avertissement Noindex indique qu’une instruction noindex applicable a été trouvée. Le badge vert Aucun noindex observé indique qu’aucune instruction de ce type n’a été trouvée avec une couverture complète des sources applicables. Inconnu signifie que l’outil n’a pas pu établir son absence. Le vert ne confirme pas l’indexation, et un badge neutre d’état inconnu ne signifie pas non plus que la page l’autorise.
Lisez le statut HTTP, l’URL finale et les éléments de preuve à côté du résultat. Si l’URL envoyée redirige, les directives décrivent la réponse finale atteinte lors de cette vérification. Un code de statut ne suffit pas à savoir si une déclaration robots est présente. Lisez aussi la valeur distincte de nofollow : le résumé n’est pas une note combinant les deux directives.
Les cas illustratifs suivants montrent comment l’intention de la page modifie l’action à entreprendre. Il ne s’agit pas des résultats d’un contrôle sur un site réel.
| Comportement souhaité | Preuves lues | Action |
|---|---|---|
| Un produit public doit apparaître dans la recherche | Noindex applicable trouvé |
Localiser la balise ou l’en-tête et examiner l’exclusion non souhaitée |
| Une page de remerciement doit rester hors de la recherche | Noindex prévu trouvé |
Vérifier que la déclaration et le périmètre du robot répondent au besoin |
| Un article public doit apparaître dans la recherche | Aucun noindex ; sources entièrement lues |
Poursuivre les autres vérifications d’indexation si l’article est absent |
| Toute page dont une source est illisible | Aucun noindex confirmé ; couverture incomplète |
Examiner les preuves manquantes avant de modifier les instructions |
Une réponse partielle peut malgré tout fournir un constat positif certain : un en-tête lisible contenant noindex reste une preuve même si le HTML ne peut pas être lu. La conclusion inverse exige une couverture suffisante. Pour un PDF ou une autre ressource non HTML, la couverture HTML peut être Sans objet ; la source pertinente est l’en-tête de réponse. Sans objet et indisponible correspondent à des situations différentes.
Vérifiez ensemble les balises HTML et X-Robots-Tag
Une balise HTML et un en-tête de réponse peuvent transmettre des instructions différentes. Supposons que le HTML final contienne :
<meta name="robots" content="index, follow">
La réponse contient aussi :
X-Robots-Tag: noindex
Ajouter index dans le HTML ne neutralise pas le noindex applicable de l’en-tête. La référence Google sur les directives robots explique comment plusieurs déclarations se combinent et comment les instructions restrictives résolvent les conflits. Dans cet exemple, examinez le réglage de l’en-tête au lieu de modifier sans cesse la balise HTML. Le rapport conserve la source, le robot et la valeur brute de chaque déclaration pour retrouver l’instruction concernée.
Le périmètre compte aussi. Une balise générale robots indiquant index, follow peut coexister avec une balise googlebot indiquant noindex. La sélection Googlebot tient compte de l’exclusion spécifique ; la sélection générique considère les déclarations générales. Des résultats différents sont donc possibles sans qu’aucune exécution mesure l’indexation réelle dans Google.
Le raccourci none signifie à la fois noindex et nofollow. D’autres déclarations peuvent nécessiter une interprétation plus détaillée : indexifembedded, par exemple, concerne le contenu intégré ailleurs. Ce résumé en lot relève les deux directives ; il ne décide pas entièrement de chaque instruction, situation d’intégration ou fonctionnalité de recherche. Conservez les preuves brutes si une exception doit être examinée.
Distinguez nofollow de l’indexation
Noindex concerne l’inclusion de la page dans les résultats de recherche. Nofollow au niveau de la page concerne le suivi des liens de cette page. Une déclaration noindex, follow n’est pas contradictoire en soi : le propriétaire peut vouloir exclure la page tout en laissant ses liens disponibles pour la découverte. Évaluez ces choix selon l’objectif de la page au lieu de considérer toute directive restrictive comme une erreur.
L’outil en lot rapporte les déclarations au niveau de la page. Il n’examine pas l’attribut rel="nofollow", sponsored ou ugc de chaque lien. Un résultat Non pour le nofollow de la page ne permet donc pas de déterminer comment chaque lien individuel est marqué.
Le guide Google sur les attributs des liens explique également que les URL liées peuvent être découvertes par d’autres sources. Un nofollow observé ici ne prouve pas que ces destinations ne seront jamais explorées ou indexées. Si vous cherchez à savoir si cette page elle-même est exclue, revenez à ses preuves de noindex.
Examinez les résultats inconnus avant de modifier les directives
Commencez par la couverture et les preuves, sans supposer qu’une balise manque. Une requête échouée, un document illisible ou une déclaration non prise en charge peut empêcher l’outil de trancher. Si une URL finale est indiquée, vérifiez qu’il s’agit de la destination souhaitée. Une redirection vers une page de connexion ou une réponse d’accès refusé ne décrit pas le contenu public normal de la page d’origine.
Cet outil lit la réponse HTTP ; il n’exécute pas JavaScript pour construire la page rendue. Les instructions ajoutées uniquement après l’exécution de scripts n’entrent pas dans cette vue. De même, une page qui exige une connexion, bloque les accès automatisés ou varie sa réponse selon le visiteur peut ne pas fournir le contenu visible dans votre navigateur. Ne supprimez pas des directives utiles simplement pour rendre verte une ligne inconnue. Établissez d’abord ce qui a réellement pu être lu, puis réessayez quand la réponse publique sera disponible.
Utilisez le Vérificateur Noindex si une URL nécessite un examen plus approfondi des déclarations et des exceptions. Gardez le résultat en lot comme référence de comparaison pendant l’analyse séparée de cette page.
L’autorisation d’exploration est une autre question. Cet outil ne lit pas robots.txt ; utilisez le Testeur Robots.txt pour les règles de chemins. Google doit pouvoir accéder à une page pour observer son instruction noindex. Associer un blocage d’exploration et une exclusion exige donc une vérification d’accès distincte, même si cet outil peut récupérer l’URL.
Exportez les constats et revérifiez les mêmes pages
Filtrez le groupe à examiner avant de télécharger le CSV. Celui-ci contient l’URL et la classification de statut des lignes visibles. C’est une liste de travail concise, pas un export complet des preuves robots : il n’inclut pas chaque déclaration brute, la valeur nofollow ni tous les détails de réponse. Téléchargez le rapport complet en JSON si le destinataire a besoin des preuves détaillées et des informations de couverture.
Pour une correction reproductible :
- Conservez ensemble les URL envoyées, le périmètre du robot choisi et le rapport initial. Notez le comportement attendu de chaque page à côté des constats.
- Identifiez la source de la déclaration. Corrigez une balise HTML non souhaitée dans la page ou le modèle concerné ; corrigez un en-tête non souhaité dans le réglage qui le publie. Conservez les exclusions volontaires.
- Relancez le même lot avec le même périmètre quand les réponses publiques actualisées sont disponibles. Comparez les preuves brutes et les nombres : un total inchangé peut concerner d’autres URL.
- Examinez séparément les lignes encore inconnues au lieu de les compter comme résolues.
Si la réponse modifiée est correcte mais que le résultat de Google n’a pas changé, cette observation ponctuelle n’explique pas à elle seule l’état du traitement. Le guide Google de dépannage de noindex renvoie à l’inspection d’URL et aux rapports d’indexation des pages pour vérifier ce que Google a reçu. Une nouvelle vérification réussie confirme la réponse actuellement observée, pas une nouvelle exploration immédiate ni un résultat de recherche garanti.