O Testador de robots.txt verifica se as regras de um site permitem que um rastreador selecionado solicite um URL específico. Teste o ficheiro em direto ou cole um rascunho e examine o grupo, a diretiva e a linha correspondentes. O resultado explica a permissão de rastreio segundo essas regras; não confirma que um bot tenha visitado a página nem que o URL esteja indexado.
Escolha a origem do robots.txt e o URL
Use Site ao vivo para ler o ficheiro público que o seu site disponibiliza atualmente. Introduza https://example.com, o caminho /products/item e o rastreador que pretende verificar. O Screpy solicita /robots.txt; não obtém a página testada nem rastreia o site inteiro.
Use Cole robots.txt para um rascunho ainda não publicado. O texto colado é analisado no navegador sem ser carregado. Indique o endereço do site como contexto para que o testador possa resolver o URL de destino.
Mantenha exatos o protocolo e o nome do anfitrião: https://example.com, http://example.com e https://www.example.com são origens diferentes. Um domínio sem protocolo usa HTTPS. Um URL de teste completo tem de ter a mesma origem que o site introduzido; um caminho é resolvido relativamente a essa origem. Testar / verifica apenas o caminho da página inicial. Ao verificar outro URL, preserve as maiúsculas e minúsculas reais e os parâmetros de consulta.
Escolha um rastreador predefinido ou introduza um token de produto personalizado como ExampleBot, em vez de um cabeçalho user-agent completo de navegador.
Leia o resultado do teste de robots.txt
Leia o estado juntamente com os elementos que o justificam, sobretudo o grupo correspondente e a linha destacada.
| Estado | Significado | O que examinar |
|---|---|---|
| Permitido — verde | Uma regra Allow correspondente permite este URL. |
A diretiva e a linha determinantes. |
| Bloqueado — vermelho | Uma regra Disallow correspondente bloqueia este URL. |
Se o caminho e o rastreador correspondem à sua intenção. |
| Permitido por padrão — azul | Nenhuma regra de caminho aplicável restringe este URL. | O grupo selecionado e se foi recebido um ficheiro em direto utilizável. |
| Indeterminado — amarelo | A verificação em direto não consegue estabelecer uma decisão com base nas regras. | A resposta da origem ou o aviso de obtenção. |
Numa verificação em direto, examine primeiro o URL do robots.txt e o estado HTTP. Este testador interpreta 404, 403 e outras respostas 4xx, exceto 429, como ausência de restrições publicadas. Um limite de pedidos, uma falha do servidor ou um redirecionamento não resolvido deixam a decisão indeterminada; um tempo limite excedido pode mostrar um erro em vez de um resultado. Estes casos não demonstram um Disallow explícito. Os rastreadores reais podem usar um ficheiro em cache ou tratar as falhas de outra forma; a Google documenta as suas próprias regras de resposta.
Examine os avisos de análise antes de confiar num resultado por padrão inesperado. Uma diretiva mal escrita ou a falta de dois pontos podem deixar a regra prevista sem aplicação. O Screpy processa, no máximo, os primeiros 500 KiB e assinala o conteúdo truncado. Quando há truncamento, a decisão descreve a parte processada; as regras posteriores não foram verificadas.
Entenda qual regra de robots.txt prevalece
Um grupo específico do rastreador tem prioridade sobre User-agent: *; as regras dos dois não são herdadas em conjunto. No grupo aplicável, prevalece a regra de caminho correspondente mais longa. Se corresponderem regras Allow e Disallow igualmente específicas, prevalece Allow. Os grupos correspondentes ao mesmo agente específico podem ser combinados, por isso examine também grupos repetidos. Estes princípios estão descritos no Protocolo de Exclusão de Robôs.
Cole esta política ilustrativa e compare os seguintes testes:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Rastreador | Caminho testado | Resultado esperado | Motivo |
|---|---|---|---|
| Bingbot | /private/report |
Bloqueado | A regra global /private/ corresponde. |
| Bingbot | /private/help/guide |
Permitido | Prevalece a exceção mais longa /private/help/. |
| Googlebot | /private/report |
Permitido por padrão | O seu grupo específico não tem uma regra correspondente; o bloqueio global não é herdado. |
| Googlebot | /preview/page |
Bloqueado | A sua regra específica /preview/ corresponde. |
O exemplo demonstra correspondência de regras, não uma área privada segura. Os caminhos distinguem maiúsculas de minúsculas: /Private/ é diferente de /private/. Nos padrões de caminho, * corresponde a uma sequência de caracteres e $ marca o fim. Por exemplo, Disallow: /*.pdf$ corresponde a /guide.pdf, mas não a /guide.pdf?download=1. Teste o URL exato que utiliza, em vez de presumir que variantes próximas partilham o resultado.
Teste separadamente rastreadores de pesquisa e de IA
O token de produto selecionado altera as regras aplicáveis. Verifique Googlebot e Bingbot individualmente quando a preocupação é o rastreio dos motores de pesquisa. Para agentes de IA, distinga pesquisa, treino de modelos e obtenção solicitada pelo utilizador, em vez de assumir que uma regra cobre tudo.
Por exemplo, OAI-SearchBot serve a pesquisa do ChatGPT, enquanto GPTBot rastreia conteúdo que pode ser usado no treino de modelos. ChatGPT-User trata determinadas ações iniciadas pelo utilizador e as regras robots.txt podem não se aplicar a esses pedidos, segundo a documentação de rastreadores da OpenAI.
Selecionar uma predefinição avalia esse token perante o ficheiro. A verificação em direto não se faz passar pelo bot escolhido, não autentica os seus pedidos nem demonstra que respeita a política apresentada. Um resultado bloqueado para um token acionado pelo utilizador é uma interpretação das regras, não uma garantia de que os pedidos parem.
Corrija uma regra e volte a testar o ficheiro em direto
Faça a menor alteração pertinente à regra e verifique tanto a restrição pretendida como a exceção que quer preservar.
- Copie o ficheiro atual para o modo de colagem e reproduza o resultado inesperado com o mesmo URL e rastreador.
- Corrija a diretiva ou o grupo correspondente. Teste o caminho afetado e um URL próximo que deva continuar permitido ou bloqueado.
- Repita para cada rastreador pertinente. Uma verificação bem-sucedida com Googlebot não determina o resultado para Bingbot ou GPTBot.
- Depois de publicar o ficheiro no seu próprio site, mude para o modo em direto e repita as verificações. Confirme que o ficheiro recebido e a linha correspondente refletem a alteração. Uma resposta recente da ferramenta não prova que um rastreador real tenha atualizado a sua cópia em cache.
Se pretende remover uma página da pesquisa, Disallow sozinho não basta. A Google tem de poder rastrear a página para ler a diretiva noindex. Proteja conteúdo confidencial com autenticação, não com robots.txt. A Google explica os limites do bloqueio de rastreio.
O relatório também lista declarações Sitemap:; encontrar um endereço não valida o seu XML nem prova a indexação. Abra-o no Verificador de Sitemap para essa verificação separada. Se o acesso do rastreador estiver correto, mas a página ainda precisar de investigação, use o Verificador SEO On-Page para examinar os seus sinais SEO ao nível da página.
Verificador Noindex: Encontre noindex no HTML e nos cabeçalhos HTTP de uma página. Veja a origem e se a diretiva se aplica à pesquisa web do Google.
Teste de acesso de bots de IA: Apenas as regras de robots.txt são verificadas. O teste não confirma o acesso real, a indexação ou as citações.