Use o Verificador de Meta Robots em Lote para comparar as diretivas noindex e nofollow em até 20 URLs públicas. Ele lê as tags robots do HTML e os cabeçalhos de resposta X-Robots-Tag, depois agrupa os resultados observados para o escopo do rastreador selecionado. Isso ajuda a identificar uma exclusão inesperada em vários modelos de página ou a verificar exclusões deliberadas após uma alteração. O relatório descreve as respostas que o verificador conseguiu ler; não estabelece se o Google indexou essas páginas.
Escolha um lote útil e o escopo do rastreador
Comece pelas páginas afetadas pela alteração que deseja verificar. Após editar um modelo de produto, inclua várias URLs de produtos e uma página de categoria. Após uma migração, inclua páginas de destino importantes e as URLs que devem redirecionar. Um pequeno lote representativo permite comparar o comportamento de tipos de página; não demonstra que o site inteiro se comporte da mesma forma.
Defina quais páginas devem poder aparecer na pesquisa e quais têm uma exclusão intencional. Uma página pública de produto e uma página de agradecimento, por exemplo, podem ter requisitos diferentes. Um aviso noindex exige atenção quando contraria esse requisito, não simplesmente por mostrar um ícone de aviso.
Cole URLs HTTP ou HTTPS completas, uma por linha, sem ultrapassar 20 linhas não vazias. URLs normalizadas repetidas são verificadas uma vez, mas remova duplicatas antes de enviar uma lista que excede o limite. A ferramenta verifica os endereços fornecidos; não descobre outras páginas do domínio nem importa um sitemap.
Selecione Googlebot para interpretar as declarações gerais junto com as específicas para Googlebot. A opção para rastreadores genéricos considera as declarações gerais. Essa seleção muda quais instruções se aplicam no relatório. Não transforma a solicitação em uma visita real do Googlebot nem prova que o Google recebe uma resposta idêntica.
Leia os resultados noindex, nenhum noindex observado e desconhecido
O resumo e os filtros agrupam as URLs pelo resultado noindex observado. O aviso Noindex significa que foi encontrada uma instrução noindex aplicável. O indicador verde Nenhum noindex observado significa que essa instrução não foi encontrada com cobertura completa das fontes aplicáveis. Desconhecido significa que o verificador não pôde estabelecer um resultado negativo. Verde não confirma indexação, e o indicador neutro de resultado desconhecido não significa que a página a permita.
Leia o status HTTP, a URL final e as evidências ao lado desse resultado. Se uma URL enviada redireciona, as diretivas descrevem a resposta final alcançada por esta verificação. Um código de status, sozinho, não informa se há uma declaração robots. Leia também o valor nofollow separado; o resumo não é uma pontuação combinada das duas diretivas.
Estes casos ilustrativos mostram como a intenção da página muda a próxima ação. Não são resultados de uma análise de um site real.
| Intenção da página | Evidências lidas | Como agir |
|---|---|---|
| Produto público deve aparecer na pesquisa | noindex aplicável encontrado |
Localize a tag ou o cabeçalho e investigue a exclusão não intencional |
| Página de agradecimento deve ficar fora da pesquisa | noindex intencional encontrado |
Confirme que a declaração e o escopo do rastreador correspondem ao requisito |
| Artigo público deve aparecer na pesquisa | Sem noindex; fontes lidas integralmente |
Prossiga com outras verificações de indexação se o artigo não aparecer na pesquisa |
| Qualquer página, fonte ilegível | Sem noindex confirmado; cobertura incompleta |
Investigue as evidências ausentes antes de alterar instruções |
Uma resposta parcial ainda pode fornecer um resultado positivo definido: um cabeçalho legível com noindex continua sendo evidência mesmo quando o HTML não pode ser lido. A conclusão oposta exige cobertura adequada. Para um PDF ou outro recurso não HTML, a cobertura HTML pode ser Não aplicável; a fonte relevante é o cabeçalho de resposta. Não aplicável e indisponível descrevem situações diferentes.
Verifique as tags HTML e X-Robots-Tag juntas
Uma tag HTML e um cabeçalho de resposta podem conter instruções diferentes. Suponha, por exemplo, que o HTML final contenha:
<meta name="robots" content="index, follow">
A resposta também contém:
X-Robots-Tag: noindex
Adicionar index ao HTML não neutraliza o noindex do cabeçalho aplicável. A referência do Google sobre diretivas robots explica como várias declarações se combinam e como instruções restritivas resolvem conflitos. Neste exemplo, examine a configuração do cabeçalho em vez de alterar repetidamente a tag HTML. O relatório preserva a fonte, o rastreador e o valor original de cada declaração para que você encontre a instrução relevante.
O escopo também importa. Uma tag geral robots com index, follow pode coexistir com uma tag googlebot com noindex. A seleção Googlebot inclui a exclusão específica; a seleção genérica considera as declarações gerais. Assim, os resultados podem ser diferentes sem que nenhuma execução meça a indexação real no Google.
A forma abreviada none significa tanto noindex quanto nofollow. Outras declarações podem exigir uma interpretação mais detalhada: indexifembedded, por exemplo, trata de conteúdo incorporado em outro lugar. Este resumo em lote registra os dois indicadores; não toma uma decisão completa sobre cada diretiva, situação de incorporação ou recurso de pesquisa. Preserve as evidências originais quando uma exceção exigir investigação.
Separe nofollow de indexação
Noindex trata da inclusão da página nos resultados de pesquisa. O nofollow no nível da página trata de seguir os links dessa página. Uma declaração noindex, follow não é, por si só, contraditória: o proprietário pode querer excluir a página mantendo seus links disponíveis para descoberta. Avalie essas escolhas conforme o propósito da página, sem tratar toda diretiva limitadora como um erro.
O verificador em lote informa declarações no nível da página. Não examina o atributo rel="nofollow", sponsored ou ugc de cada link. Por isso, um resultado Não para nofollow no nível da página não estabelece como cada link individual está marcado.
As orientações do Google sobre qualificação de links também explicam que URLs vinculadas podem ser descobertas por outras fontes. Um nofollow observado aqui não prova que esses destinos nunca serão rastreados ou indexados. Se a dúvida é se esta página tem uma exclusão, volte às evidências de noindex dela.
Investigue resultados desconhecidos antes de mudar diretivas
Comece pela cobertura e pelas evidências, sem presumir que uma tag esteja ausente. Uma solicitação que falhou, um documento ilegível ou uma declaração não suportada podem impedir que o verificador decida. Se houver uma URL final, confira se é o destino pretendido. Um redirecionamento para uma página de login ou uma resposta de acesso negado não é evidência do conteúdo público normal da página original.
Este verificador lê a resposta HTTP; não executa JavaScript para montar uma página renderizada. Instruções inseridas apenas após a execução de scripts ficam fora dessa visão. Da mesma forma, uma página que exige login, bloqueia acesso automatizado ou varia a resposta conforme o visitante pode não expor o conteúdo que você vê no navegador. Não remova diretivas úteis apenas para tornar verde uma linha desconhecida. Primeiro estabeleça o que pôde ser lido, depois tente novamente quando a resposta pública estiver disponível.
Use o Noindex Checker quando uma URL exigir uma análise mais próxima de declarações e exceções. Preserve o resultado em lote como registro de comparação enquanto investiga essa página separadamente.
A permissão de rastreamento é outra questão. Esta ferramenta não lê robots.txt; use o Robots.txt Tester para essas regras de caminhos. O Google precisa acessar uma página para observar sua instrução noindex. Portanto, combinar um bloqueio de rastreamento com uma exclusão exige uma verificação separada de acesso, mesmo quando este verificador consegue buscar a URL.
Exporte os resultados e verifique as mesmas páginas novamente
Filtre o grupo que deseja investigar antes de baixar o CSV. O CSV contém a URL e a classificação de status das linhas visíveis. É uma lista de trabalho compacta, não uma exportação completa das evidências robots: não inclui cada declaração original, o valor nofollow ou todos os detalhes da resposta. Baixe o relatório completo em JSON quando o destinatário precisar das evidências detalhadas e das informações de cobertura.
Para uma correção reproduzível:
- Guarde juntas as URLs enviadas, o escopo do rastreador selecionado e o relatório original. Registre o comportamento pretendido de cada página junto aos resultados.
- Identifique a fonte da declaração. Corrija uma tag HTML não intencional na página ou no modelo relevante; corrija um cabeçalho não intencional na configuração que o publica. Mantenha exclusões deliberadas.
- Execute novamente o mesmo lote e escopo depois que as respostas públicas atualizadas estiverem disponíveis. Compare as evidências originais, além das contagens; um total inalterado pode ocultar um conjunto diferente de URLs.
- Investigue separadamente as linhas que continuam desconhecidas, em vez de contá-las como resolvidas.
Se a resposta revisada está correta, mas o resultado do Google não mudou, esta captura não explica, sozinha, o estado de processamento. As orientações do Google para solucionar problemas de noindex indicam os relatórios de Inspeção de URL e Indexação de páginas para verificar o que o Google recebeu. Uma nova verificação bem-sucedida confirma a resposta observada no momento, não um rastreamento imediato ou um resultado de pesquisa prometido.