Testador e validador gratuito de robots.txt
Verifique se um URL é permitido ou bloqueado para o Google, pesquisa com IA, treino e rastreadores personalizados. Teste um site em direto ou cole um ficheiro robots.txt para ver a regra e a linha aplicadas.
Teste uma regra de rastreio em três passos.
Verifique um URL sem criar um projeto ou uma conta. O modo em direto lê apenas o ficheiro robots.txt público do site.
Escolha a origem
Obtenha o ficheiro robots.txt público de um site ou cole conteúdo que pretende testar em privado no seu navegador.
Selecione um rastreador
Escolha um token de produto de pesquisa, pesquisa com IA, treino, acionado pelo utilizador ou personalizado e introduza o caminho do URL a testar.
Leia a correspondência exata
Veja se o URL é permitido, que grupo se aplica e que regra Allow ou Disallow e linha determinam o resultado.
Perceba por que motivo um crawler é permitido ou bloqueado.
Um resultado útil deve mostrar a regra por trás da decisão, não apenas um estado verde ou vermelho.
A regra mais específica vence
O testador aplica o comportamento de correspondência mais longa. Quando regras Allow e Disallow igualmente específicas entram em conflito, vence Allow por ser menos restritiva.
Correspondência de curingas e do fim
Utilize um asterisco para corresponder a uma sequência de caracteres e um cifrão para fixar uma regra ao fim do URL testado.
Os grupos User-Agent são importantes
Um grupo específico do rastreador tem prioridade sobre o grupo global *. Os rastreadores de pesquisa, treino e acionados pelo utilizador devem ser testados separadamente.
Sem regra, o acesso é permitido por predefinição
Quando não corresponde nenhuma regra Allow ou Disallow aplicável, o URL é permitido por predefinição segundo o protocolo de exclusão de robôs.
O robots.txt controla o acesso, não a inclusão na pesquisa.
Controlo do rastreio
As regras Allow e Disallow indicam a um crawler compatível que caminhos de URL pode solicitar.
Controlo de indexação
Use diretivas noindex rastreáveis e fluxos de remoção dos motores de pesquisa quando um URL não deve aparecer nos resultados.
Perguntas sobre o testador de robots.txt
Respostas claras sobre regras de rastreio, tokens de rastreadores de IA, estados de erro e indexação.
O que faz um testador de robots.txt?
Um testador de robots.txt compara um user-agent e um URL com as regras de um ficheiro robots.txt. Mostra se o rastreio é permitido, que grupo User-Agent se aplica e qual é a regra correspondente exata, quando existe.
O robots.txt impede a indexação de uma página?
Não por si só. O robots.txt controla o rastreio, não a indexação. Um URL bloqueado pode ser descoberto através de ligações e aparecer sem um snippet completo. Utilize uma diretiva noindex adequada numa página rastreável se pretender removê-la dos resultados.
O que significa «Permitido por predefinição»?
Significa que o testador não encontrou uma regra aplicável que bloqueie o URL. Isto pode acontecer quando não existe um grupo User-Agent correspondente, o grupo não tem uma regra relevante ou não existe um ficheiro robots.txt utilizável.
Posso testar rastreadores de IA separadamente do Googlebot?
Sim. Os rastreadores de pesquisa, pesquisa com IA, treino de modelos e obtenção acionada pelo utilizador usam tokens diferentes e podem ter regras diferentes. Selecione cada agente separadamente para verificar a política aplicável.
O que significam * e $ no robots.txt?
Um asterisco corresponde a uma sequência de caracteres num caminho de URL. Um cifrão fixa um padrão ao fim do URL. O testador suporta ambos os padrões para identificar a regra aplicável mais específica.
O que acontece quando o robots.txt devolve 404 ou 403?
Os principais rastreadores tratam geralmente a maioria das respostas 4xx como se não tivessem sido publicadas restrições de rastreio. Uma resposta 429 indica limitação temporária, pelo que o testador comunica um estado em direto indeterminado.
Por que motivo um resultado 5xx ou de tempo limite é indeterminado?
Uma falha temporária do servidor ou da rede não prova que um rastreador seja permitido ou bloqueado. Os rastreadores podem suspender pedidos ou reutilizar um ficheiro robots.txt colocado em cache; por isso, o testador evita uma decisão definitiva.
A Screpy guarda os URLs ou o conteúdo de robots.txt colado?
Não. O conteúdo colado é analisado no seu navegador e não é carregado. O modo em direto envia apenas o site, o URL testado e o rastreador selecionado para a verificação atual; estes dados não são guardados.