Regras de bots de pesquisa com IA
Insira um domínio ou uma URL HTTP/HTTPS completa. O caminho e a consulta são preservados; robots.txt é obtido da origem. O grupo específico correspondente tem prioridade sobre o curinga. Regras correspondentes mais longas têm prioridade; em igualdade de especificidade, Allow vence. Até cinco redirecionamentos são seguidos.
Pesquisa com IA
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Se deseja aparecer na pesquisa com IA, revise a regra Disallow correspondente antes de alterá-la. Apenas as regras de robots.txt são verificadas. O teste não confirma o acesso real, a indexação ou as citações.
Treinamento de modelos
GPTBot · ClaudeBot
Bloquear um bot de treinamento pode ser intencional. Isso não é automaticamente um problema de SEO.
Visitas solicitadas por usuários
ChatGPT-User: robots.txt pode não se aplicar às visitas solicitadas por usuários.
Claude-User respeita robots.txt nas visitas solicitadas por usuários.
Perplexity-User: Este bot geralmente ignora robots.txt em visitas solicitadas por usuários.
Controles de uso do conteúdo
Google-Extended: Controla o uso do conteúdo, não um rastreador HTTP separado nem a Pesquisa Google.
Fonte
Respostas inacessíveis, documentos inválidos ou limites excedidos geram um resultado desconhecido. Com um arquivo ausente e status 404 ou 410 nenhuma restrição de robots.txt é presumida. A resposta de robots.txt é limitada a 512 KiB.
Verificador Noindex · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Teste o URL que pretende tornar descobrível
Verifique um URL público de artigo ou produto, não apenas a página inicial. Uma regra que permite / pode coexistir com uma restrição em /private/; a resposta depende do caminho pedido. Para https://example.com/private/report/, examine o grupo aplicado e a regra correspondente antes de avaliar o bloqueio.
O relatório separa resultados permitidos, bloqueados e desconhecidos. Leia primeiro as linhas dos bots de pesquisa se o objetivo for descoberta. Um total verde não prova permissão para todas as categorias nem uma futura citação do conteúdo.
Decida separadamente sobre pesquisa e treino
Pode permitir OAI-SearchBot e bloquear GPTBot. São decisões com objetivos diferentes: disponibilizar páginas para pesquisa não exige tratar todos os bots de treino de forma idêntica. A distinção também importa para outros bots. Confirme a finalidade de cada agente na documentação publicada.
Volte a verificar depois de alterar robots.txt
Edite a regra na origem do URL testado, publique-a e repita o teste desse mesmo URL. Verifique também um URL fora do diretório restrito para detetar alterações demasiado abrangentes. Preserve restrições intencionais em vez de eliminar todas as linhas Disallow.
Se a política permite acesso mas este falha, investigue autenticação, respostas HTTP e restrições do servidor separadamente. Este verificador não confirma esses controlos. Use o Verificador HTTP em lote para respostas e o Verificador Noindex para diretivas de indexação.