O gerador gratuito de robots.txt da Screpy cria um ficheiro de texto a partir dos grupos de rastreadores, regras Allow e Disallow e URLs de sitemaps que indicar. Utilize-o para preparar um ficheiro novo ou reproduzir uma política já planeada. Copie o resultado ou descarregue robots.txt e publique-o no seu site.
O gerador não lê o ficheiro existente, não testa URLs publicados e não instala alterações. Antes de substituir uma configuração funcional, guarde uma cópia e defina os caminhos que cada rastreador deve poder solicitar. Um ficheiro pode ter sintaxe válida e, ainda assim, expressar regras erradas para o seu site.
Como utilizar o gerador de robots.txt
Comece pelo grupo * para a política geral. Adicione uma regra, escolha Allow ou Disallow e introduza um caminho que comece por /. Por exemplo, escreva /drafts/, não https://example.com/drafts/. Adicione outro grupo apenas quando um rastreador específico precisar de regras próprias.
Pode configurar até 10 grupos distintos, 50 regras explícitas no conjunto dos grupos e 10 URLs de sitemaps. Utilize o identificador do rastreador, como Googlebot, em vez de uma cadeia User-Agent completa de um navegador. Nomes que apenas diferem nas maiúsculas e minúsculas não constituem grupos separados nesta ferramenta.
Introduza cada endereço HTTP ou HTTPS completo de sitemap numa linha. Se não tiver um endereço a indicar, deixe o campo vazio. Gere o ficheiro, reveja os avisos e copie ou descarregue o resultado. Um grupo sem regras explícitas produz Allow: /; por isso, o contador pode ser zero embora o ficheiro contenha essa linha predefinida. Estes são limites do gerador, não do protocolo robots.txt.
Exemplo de robots.txt com uma exceção permitida
Esta configuração fictícia restringe o rastreio de uma pasta de rascunhos, mantendo acessível uma subpasta pública. É um exemplo para adaptar, não uma configuração recomendada para todos os sites.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Para um rastreador que utiliza este grupo, as decisões esperadas são:
| Caminho do URL | Decisão de rastreio | Motivo |
|---|---|---|
/products/blue-mug/ |
Permitido | Nenhuma restrição corresponde. |
/drafts/new-page/ |
Bloqueado | Corresponde à pasta restringida. |
/drafts/public/style-guide/ |
Permitido | O caminho Allow mais longo introduz uma exceção. |
/drafts |
Permitido | Não contém a barra final de /drafts/. |
A última linha importa se a aplicação disponibilizar ambas as variantes da pasta. Teste os URLs que o site realmente serve, incluindo variantes de barra final e de parâmetros. A decisão descreve a permissão segundo o ficheiro; não comprova disponibilidade HTTP nem indexação. A linha Sitemap indica a localização de um ficheiro e não anula Disallow.
Fazer corresponder os caminhos certos com carateres universais
Verifique cada regra com um URL que deve corresponder e outro semelhante que deve continuar rastreável. Os caminhos distinguem maiúsculas: /Catalog/ e /catalog/ são diferentes. Uma barra em falta ou um prefixo demasiado amplo pode abranger páginas não previstas.
| Padrão | O que verificar antes de utilizar |
|---|---|
/catalog |
É um prefixo: também corresponde a /catalogue/. |
/catalog/ |
Corresponde aos caminhos dentro dessa pasta, mas não apenas a /catalog. |
/catalog$ |
Corresponde à terminação exata, não a /catalog/ nem a /catalog?sort=price. |
/*.pdf$ |
Corresponde a um URL terminado em .pdf minúsculo; parâmetros depois da extensão alteram a terminação. |
O Robots Exclusion Protocol define * para uma sequência de carateres e $ para o fim de uma correspondência. Um # literal inicia um comentário. Codifique um cardinal ou um espaço que pertença ao URL em vez de o introduzir sem codificação no caminho. Mantenha padrões suficientemente específicos para explicar e verificar o seu efeito. O formulário conserva os padrões, mas não calcula todos os URLs que poderão ser afetados.
Dar a cada rastreador um grupo completo
As restrições do grupo geral não são adicionadas automaticamente ao grupo específico do Googlebot. Por exemplo:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Aqui, o grupo do Googlebot restringe /previews/, mas não /drafts/. Se ambas as pastas devem ficar restringidas para o Googlebot, adicione as duas regras ao respetivo grupo. A especificação robots.txt da Google explica a seleção de grupos e a correspondência. Num conflito entre Allow e Disallow com igual especificidade, a Google escolhe Allow. Mover a mesma regra para mais abaixo não lhe dá prioridade.
Adicione um grupo específico apenas quando conhecer a distinção pretendida. Os rastreadores de pesquisa, treino e pedidos dos utilizadores podem utilizar identificadores diferentes. Consulte as regras de um bot suportado no AI Bot Access Tester, em vez de presumir que um grupo controla toda a atividade de um serviço.
Ler os avisos antes de copiar o ficheiro
O relatório destaca três situações que exigem uma decisão consciente. Um aviso pede uma revisão das regras; não prova que o ficheiro seja inutilizável.
| Aviso | O que rever |
|---|---|
| Disallow para todo o site | Um grupo contém Disallow: /. Confirme que a restrição geral é intencional e analise eventuais exceções Allow mais específicas. |
| Grupo de rastreador específico | O grupo geral tem regras explícitas e outro rastreador tem um grupo próprio. Verifique se este inclui as restrições pretendidas. |
| Allow e Disallow com o mesmo caminho | Ambas as ações usam o mesmo caminho num grupo. Remova um conflito involuntário; com igual especificidade, a Google prefere Allow. |
Um resultado sem avisos não é uma auditoria do rastreio real. Estas verificações não determinam se um recurso é necessário à apresentação da página, se um sitemap está acessível ou se cada padrão afeta as páginas pretendidas. Mantenha rastreáveis as folhas de estilo, os scripts e as imagens necessários. Não bloqueie toda uma pasta de recursos apenas porque um modelo genérico o sugere.
Publicar robots.txt e verificar a resposta real
Guarde o ficheiro atual antes de o substituir. Publique o texto gerado como recurso de texto UTF-8 com o nome exato robots.txt, sem acrescentar outra extensão .txt. Para um site HTTPS em www.example.com, verifique https://www.example.com/robots.txt. Um ficheiro em /blog/robots.txt não configura todo o anfitrião. O protocolo, o anfitrião e a porta são relevantes.
Em WordPress, noutro CMS ou num construtor de sites alojado, identifique primeiro o que serve esse URL: um ficheiro físico, uma resposta de um plugin ou uma definição da plataforma. Atualize essa fonte. Colocar outro ficheiro noutro local pode não alterar a resposta publicada. A Screpy não fornece modelos para CMS nem publica o ficheiro por si.
Depois de publicar:
- Abra o endereço exato de robots.txt sem iniciar sessão e confirme que devolve o texto pretendido, não um ecrã de autenticação ou uma página HTML.
- Utilize o Robots.txt Tester nos URLs importantes permitidos e bloqueados. Inclua exceções e variantes dos caminhos.
- Investigue respostas inesperadas com o HTTP Headers Checker e verifique separadamente o sitemap declarado com o Sitemap Checker.
O guia de criação da Google explica o envio para o servidor e as verificações de acesso público. Os rastreadores descobrem o ficheiro publicado; descarregá-lo aqui não equivale a submetê-lo. Uma cópia em cache também pode atrasar a deteção das alterações.
Escolher o controlo adequado para indexação ou páginas privadas
Utilize robots.txt para comunicar restrições de rastreio. Se pretende excluir da Google uma página que continua pública, a documentação noindex da Google explica a meta tag ou o cabeçalho de resposta HTTP. A Google precisa de aceder à página para ler a instrução. Bloquear o mesmo URL em robots.txt pode impedi-lo; uma linha Noindex: nesse ficheiro não é suportada pela Google.
Verifique as diretivas existentes com o Noindex Checker antes de escolher a solução. Para documentos confidenciais ou um ambiente de testes privado, utilize autenticação e controlos de acesso adequados. Nem um robots.txt público nem uma instrução noindex protegem o acesso ao conteúdo. Gerar mais regras não substitui a escolha do controlo certo.