O AI Bot Access Tester da Screpy verifica a política robots.txt de uma URL exata para nove bots ou controles de uso de conteúdo. Ele separa pesquisa com IA, treinamento e visitas solicitadas por usuários para avaliar a regra adequada ao objetivo. O resultado mostra a política publicada, não se um bot real acessou, indexou ou citou a página.
Teste a URL exata e sua origem
Digite um domínio ou uma URL HTTP/HTTPS pública completa. Só o domínio verifica a raiz; o endereço completo preserva caminho e consulta ao avaliar regras. Se a dúvida é sobre um guia de produto, teste esse guia em vez de aplicar o resultado da página inicial a tudo.
A ferramenta busca robots.txt na origem da URL fornecida. Subdomínios e origens HTTP/HTTPS podem ter arquivos diferentes. Confira o endereço realmente publicado. Os detalhes mostram a URL solicitada do arquivo, seu destino após redirecionamentos e o horário. São seguidos até cinco redirecionamentos da fonte.
Use Localizador de subdomínios para encontrar outros anfitriões a analisar e verifique separadamente a política de bots de cada origem relevante. Um certificado não confirma um site funcional nem o acesso real de bots.
A URL da página é o alvo da comparação de regras, não de análise do conteúdo. Obter robots.txt não comprova que o artigo seja acessível ou legível. Guarde o endereço testado junto ao resultado nas comparações antes/depois.
Separe pesquisa com IA, treinamento e visitas do usuário
Bloquear um rastreador de treinamento não é automaticamente um problema de descoberta na pesquisa. Leia o propósito antes de tentar deixar tudo verde. O relatório atual cobre nove entradas:
| Propósito | Entradas do relatório | Interpretação |
|---|---|---|
| Pesquisa com IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Avaliar para descoberta na respectiva experiência de pesquisa |
| Treinamento | GPTBot, ClaudeBot | Recusar treinamento pode ser intencional e separado da pesquisa |
| Visitas solicitadas | ChatGPT-User, Claude-User, Perplexity-User | Ler a nota: os três tratam robots.txt de maneiras diferentes |
| Controle de uso de conteúdo | Google-Extended | Token de controle, não rastreador HTTP próprio nem ajuste de ranking Google |
A documentação de rastreadores da OpenAI distingue OAI-SearchBot de GPTBot e diz que robots.txt pode não se aplicar às ações ChatGPT-User iniciadas por uma pessoa. Permitir pesquisa e bloquear treinamento é uma escolha separada, não uma inconsistência.
As orientações da Anthropic distinguem agentes de pesquisa, treinamento e usuário e declaram que respeitam robots.txt. A documentação da Perplexity separa PerplexityBot de Perplexity-User, que geralmente ignora robots.txt nos acessos solicitados pelo usuário.
A documentação Google-Extended do Google descreve o uso do conteúdo e informa que o token não afeta inclusão ou ranking no Google Search. Essa linha não testa Googlebot nem todos os recursos de pesquisa com IA do Google. Propósitos e comportamentos podem mudar; confira as fontes oficiais ao revisar uma política duradoura.
Leia o grupo aplicado e a regra correspondente
As evidências mostram bot, grupo, regra Allow ou Disallow correspondente e linha de origem. Um grupo específico correspondente tem prioridade sobre o grupo curinga. Entre regras aplicáveis, o caminho correspondente mais longo vence; Allow prevalece com igual especificidade. Nenhuma restrição correspondente significa que não foi encontrado bloqueio para o alvo. Uma linha Allow explícita não é obrigatória.
Imagine um grupo fictício OAI-SearchBot com Disallow para /private/ e Allow mais específico para /private/public-guide/. O guia pode ser permitido enquanto /private/report/ continua bloqueado. Adicionar outro grupo GPTBot bloqueando todos os caminhos não muda essas decisões OAI-SearchBot. É um exemplo de correspondência, não uma política recomendada para copiar.
Desconhecido não significa bloqueado. Fonte inacessível, documento inválido ou limite excedido deixam a política indefinida. A fonte é limitada a 512 KiB. Um robots.txt ausente com 404 ou 410 significa nenhuma restrição encontrada no arquivo, não a remoção de autenticação ou outros controles. Leia avisos e diagnósticos das linhas antes de editar. Para agentes personalizados ou revisão detalhada use o Robots.txt Tester.
Altere apenas a política pretendida
Se o objetivo é descoberta na pesquisa com IA, comece pelas linhas dos bots de pesquisa e pela restrição correspondente. Preserve bloqueios intencionais de treinamento e caminhos privados em vez de apagar todo Disallow. Edite o arquivo da origem correta, publique e teste novamente a mesma URL. Confira também uma URL que deve continuar bloqueada para detectar uma alteração ampla demais.
Política permitida não é teste de acesso real. A ferramenta não envia requisições como os nove agentes, não inspeciona logs nem verifica autenticação ou regras de acesso do servidor. O total permitido não é pontuação de visibilidade; um arquivo ausente não garante acesso irrestrito.
Investigue respostas com o Bulk HTTP Status Checker, lembrando que sua requisição também não prova o que cada bot genuíno recebe. Para diretivas de indexação use o Noindex Checker. Política, recuperação, indexação e escolha como fonte são questões separadas. Mudar uma regra não garante tráfego, recomendações ou citações.
Antes de publicar o arquivo, use o validador llms.txt para verificar a estrutura Markdown e os links encontrados. Controles HTTP opcionais analisam destinos limitados; não comprovam que um agente de IA leia o arquivo.
Para uma análise mais ampla, use Preparação para busca com IA e examine HTML, regras robots e arquivos de descoberta limitados juntos. As conclusões técnicas não medem visibilidade IA nem garantem citações.