El generador gratuito de robots.txt de Screpy crea un archivo de texto a partir de tus grupos de rastreadores, reglas Allow y Disallow, y URLs de sitemaps. Úsalo para preparar un archivo nuevo o reproducir una política que ya hayas definido. Copia el resultado o descarga robots.txt y publícalo en tu web.
El generador no lee tu archivo actual, no prueba URLs publicadas ni instala cambios. Antes de sustituir una configuración que funciona, guarda una copia y decide qué rutas debe poder solicitar cada rastreador. Un archivo puede tener una sintaxis válida y aun así expresar una política equivocada para tu sitio.
Cómo utilizar el generador de robots.txt
Empieza con el grupo * para la política general. Selecciona Añadir regla, elige Allow o Disallow e introduce una ruta que empiece por /. Por ejemplo, escribe /drafts/, no https://example.com/drafts/. Añade otro grupo únicamente cuando un rastreador concreto necesite sus propias reglas.
Puedes configurar hasta 10 grupos distintos, 50 reglas explícitas entre todos los grupos y 10 URLs de sitemaps. Utiliza el identificador del rastreador, como Googlebot, en lugar de una cadena User-Agent completa de un navegador. Los nombres que solo cambian en mayúsculas y minúsculas no cuentan como grupos diferentes en esta herramienta.
Escribe cada dirección completa HTTP o HTTPS de sitemap en una línea. Si no tienes una dirección que añadir, deja el campo vacío. Genera el archivo, revisa las advertencias y copia o descarga el resultado. Un grupo sin reglas explícitas genera Allow: /; por eso el contador puede mostrar cero aunque el archivo incluya esa línea predeterminada. Son límites del generador, no del protocolo robots.txt.
Ejemplo de robots.txt con una excepción permitida
Esta configuración ficticia restringe el rastreo de una carpeta de borradores y mantiene accesible una subcarpeta pública. Es un ejemplo para adaptar, no una configuración recomendada para todas las webs.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Para un rastreador que utilice este grupo, las decisiones esperadas son:
| Ruta de URL | Decisión de rastreo | Motivo |
|---|---|---|
/products/blue-mug/ |
Permitido | Ninguna restricción coincide. |
/drafts/new-page/ |
Bloqueado | Coincide la carpeta restringida. |
/drafts/public/style-guide/ |
Permitido | La ruta Allow más larga introduce una excepción. |
/drafts |
Permitido | No contiene la barra final de /drafts/. |
La última fila importa si tu aplicación sirve ambas variantes. Prueba las URLs que tu web ofrece realmente, incluidas las variaciones de barra y consulta. La decisión indica el permiso según el archivo; no demuestra disponibilidad HTTP ni indexación. La línea Sitemap señala la ubicación de un archivo y no anula Disallow.
Haz coincidir las rutas correctas con comodines
Comprueba cada regla con una URL que deba coincidir y otra parecida que quieras mantener rastreable. Las rutas distinguen mayúsculas: /Catalog/ y /catalog/ son diferentes. Una barra ausente o un prefijo demasiado amplio puede afectar a páginas distintas de las previstas.
| Patrón | Qué revisar antes de utilizarlo |
|---|---|
/catalog |
Es un prefijo: también coincide con /catalogue/. |
/catalog/ |
Coincide con rutas dentro de esa carpeta, pero no con /catalog solo. |
/catalog$ |
Coincide con el final exacto, no con /catalog/ ni /catalog?sort=price. |
/*.pdf$ |
Coincide con una URL terminada en .pdf minúsculo; una consulta posterior cambia ese final. |
El Robots Exclusion Protocol define * para una secuencia de caracteres y $ para el final de la coincidencia. Un # literal inicia un comentario; codifica la almohadilla o el espacio que forme parte de una URL, en lugar de escribirlo sin codificar en la ruta. Mantén patrones lo bastante concretos para explicar y comprobar su efecto. El formulario conserva tus patrones, pero no calcula todas las URLs afectadas.
Asigna a cada rastreador un grupo completo
Las restricciones del grupo comodín no se añaden automáticamente al grupo específico de Googlebot. Por ejemplo:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Aquí el grupo de Googlebot restringe /previews/, pero no /drafts/. Si quieres restringir ambas carpetas para Googlebot, añade ambas reglas a su grupo. La especificación de robots.txt de Google explica cómo selecciona grupos y coincidencias. Cuando Allow y Disallow entran en conflicto con igual especificidad, Google elige Allow. Mover la misma regla más abajo no le da prioridad.
Añade grupos específicos solo cuando conozcas la diferencia que buscas. Los rastreadores de búsqueda, entrenamiento y solicitudes del usuario pueden usar identificadores distintos. Revisa las reglas de un bot compatible con AI Bot Access Tester en vez de suponer que un grupo controla toda la actividad de un servicio.
Lee las advertencias antes de copiar el archivo
El informe destaca tres situaciones que requieren una decisión consciente. Una advertencia invita a revisar la política; no demuestra que el archivo sea inutilizable.
| Advertencia | Qué revisar |
|---|---|
| Disallow para todo el sitio | Un grupo contiene Disallow: /. Confirma que la restricción general sea intencionada y revisa las posibles excepciones Allow más específicas. |
| Grupo específico de rastreador | El grupo comodín tiene reglas explícitas y otro rastreador cuenta con su propio grupo. Comprueba que este incluya las restricciones deseadas. |
| Allow y Disallow con la misma ruta | Ambas acciones usan la misma ruta dentro de un grupo. Elimina el conflicto involuntario; con igual especificidad Google prefiere Allow. |
Un resultado sin advertencias no es una auditoría del rastreo real. Estas comprobaciones no determinan si un recurso es necesario para renderizar una página, si un sitemap es accesible o si cada patrón afecta a las páginas previstas. Mantén rastreables las hojas de estilo, los scripts y las imágenes que la página necesite. No bloquees toda una carpeta de recursos solo porque aparezca en una plantilla genérica.
Publica robots.txt y comprueba la respuesta real
Guarda el archivo actual antes de reemplazarlo. Publica el texto generado como recurso de texto UTF-8 llamado exactamente robots.txt, sin añadir otra extensión .txt. Para una web HTTPS en www.example.com, comprueba https://www.example.com/robots.txt. Un archivo en /blog/robots.txt no configura todo el host. Importan el protocolo, el host y el puerto.
En WordPress, otro CMS o un creador de sitios alojado, identifica primero qué sirve esa URL: un archivo físico, una respuesta de un plugin o un ajuste de la plataforma. Actualiza esa fuente. Colocar otro archivo en una ubicación diferente no necesariamente modifica la respuesta publicada. Screpy no ofrece plantillas de CMS ni publica el archivo por ti.
Después de publicarlo:
- Abre la dirección exacta de robots.txt sin iniciar sesión y confirma que devuelve el texto previsto, no una pantalla de acceso o una página HTML.
- Usa Robots.txt Tester con URLs importantes permitidas y bloqueadas. Incluye excepciones y variantes de escritura.
- Investiga respuestas inesperadas con HTTP Headers Checker y verifica por separado el sitemap declarado con Sitemap Checker.
La guía de creación de Google explica cómo subir el archivo y comprobar su acceso público. Los rastreadores descubren el archivo publicado; descargarlo aquí no equivale a enviarlo. Una copia en caché también puede retrasar la detección de los cambios.
Elige el control adecuado para indexación o páginas privadas
Utiliza robots.txt para comunicar restricciones de rastreo. Si quieres excluir de Google una página que sigue siendo pública, Google documenta noindex mediante una etiqueta meta o una cabecera HTTP. Google necesita acceder a la página para leerla. Bloquear la misma URL con robots.txt puede impedirlo, y Google no admite una línea Noindex: dentro de robots.txt.
Comprueba las directivas actuales con Noindex Checker antes de elegir una solución. Para documentos confidenciales o un entorno de pruebas privado, utiliza autenticación y controles de acceso adecuados. Ni un robots.txt público ni una instrucción noindex protegen el acceso al contenido. Generar más reglas no sustituye la elección del control correcto.