El Comprobador de robots.txt verifica si las reglas de un sitio permiten que un rastreador seleccionado solicite una URL concreta. Prueba el archivo en directo o pega un borrador y revisa el grupo, la directiva y la línea coincidentes. El resultado explica el permiso de rastreo según esas reglas; no confirma que un bot haya visitado la página ni que la URL esté indexada.
Elige la fuente de robots.txt y la URL
Usa Sitio en vivo para leer el archivo público que sirve tu sitio actualmente. Introduce https://example.com, la ruta /products/item y el rastreador que quieras comprobar. Screpy solicita /robots.txt; no obtiene la página probada ni rastrea todo el sitio.
Usa Pega robots.txt para un borrador sin publicar. El texto pegado se analiza en tu navegador sin subirlo. Indica la dirección del sitio como contexto para que el comprobador pueda resolver la URL de destino.
Respeta el protocolo y el nombre de host exactos: https://example.com, http://example.com y https://www.example.com son orígenes distintos. Un dominio sin protocolo usa HTTPS. Una URL de prueba completa debe tener el mismo origen que el sitio introducido; una ruta se resuelve respecto a él. Probar / solo comprueba la ruta de la página de inicio. Conserva las mayúsculas y minúsculas reales y los parámetros de consulta al comprobar otra URL.
Elige un rastreador predefinido o introduce un token de producto personalizado como ExampleBot, en lugar de una cabecera user-agent completa de navegador.
Lee el resultado de la prueba de robots.txt
Lee el estado junto con la información que lo justifica, especialmente el grupo coincidente y la línea resaltada.
| Estado | Significado | Qué revisar |
|---|---|---|
| Permitido — verde | Una regla Allow coincidente permite esta URL. |
La directiva y la línea que prevalecen. |
| Bloqueado — rojo | Una regla Disallow coincidente bloquea esta URL. |
Si la ruta y el rastreador son los que pretendías comprobar. |
| Permitido por defecto — azul | Ninguna regla de ruta aplicable restringe esta URL. | El grupo seleccionado y si se recibió un archivo en directo utilizable. |
| Indeterminado — amarillo | La comprobación en directo no puede determinar una decisión de reglas. | La respuesta de la fuente o la advertencia de obtención. |
En una comprobación en directo, revisa primero la URL de robots.txt y el estado HTTP. Este comprobador interpreta 404, 403 y otras respuestas 4xx, excepto 429, como ausencia de restricciones publicadas. Un límite de solicitudes, un fallo del servidor o una redirección no resuelta dejan la decisión indeterminada; un tiempo de espera agotado puede mostrar un error en lugar de un resultado. Estos casos no demuestran un Disallow explícito. Los rastreadores reales pueden usar un archivo en caché o tratar los fallos de otra forma; Google documenta sus propias reglas de respuesta.
Revisa las advertencias de análisis antes de confiar en un resultado por defecto inesperado. Una directiva mal escrita o la falta de dos puntos pueden dejar sin aplicar la regla prevista. Screpy procesa como máximo los primeros 500 KiB e indica si el contenido se ha truncado. Si está truncado, la decisión describe la parte procesada; las reglas posteriores no se han comprobado.
Entiende qué regla de robots.txt prevalece
Un grupo específico del rastreador tiene prioridad sobre User-agent: *; las reglas de ambos no se heredan conjuntamente. Dentro del grupo aplicable prevalece la regla de ruta coincidente más larga. Si coinciden reglas Allow y Disallow igual de específicas, prevalece Allow. Los grupos coincidentes para un mismo agente específico pueden combinarse, así que revisa también los grupos repetidos. Estos principios se describen en el Protocolo de Exclusión de Robots.
Pega esta política de ejemplo y compara las siguientes pruebas:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Rastreador | Ruta probada | Resultado esperado | Motivo |
|---|---|---|---|
| Bingbot | /private/report |
Bloqueado | Coincide la regla global /private/. |
| Bingbot | /private/help/guide |
Permitido | Prevalece la excepción más larga /private/help/. |
| Googlebot | /private/report |
Permitido por defecto | Su grupo específico no tiene una regla coincidente; no hereda el bloqueo global. |
| Googlebot | /preview/page |
Bloqueado | Coincide su regla específica /preview/. |
El ejemplo demuestra coincidencias, no un área privada segura. Las rutas distinguen mayúsculas de minúsculas: /Private/ no es /private/. En los patrones de ruta, * coincide con una secuencia de caracteres y $ fija el final. Por ejemplo, Disallow: /*.pdf$ coincide con /guide.pdf, pero no con /guide.pdf?download=1. Prueba la URL exacta que usas, en lugar de suponer que variantes cercanas comparten el resultado.
Prueba por separado rastreadores de búsqueda y de IA
El token de producto seleccionado cambia las reglas que se aplican. Comprueba Googlebot y Bingbot individualmente si te preocupa el rastreo de buscadores. Para los agentes de IA, distingue entre búsqueda, entrenamiento de modelos y obtención solicitada por el usuario, sin dar por hecho que una regla los cubre a todos.
Por ejemplo, OAI-SearchBot sirve a la búsqueda de ChatGPT, mientras que GPTBot rastrea contenido que puede usarse para entrenar modelos. ChatGPT-User gestiona determinadas acciones iniciadas por usuarios y las reglas de robots.txt pueden no aplicarse a esas solicitudes, según la documentación de rastreadores de OpenAI.
Seleccionar una opción predefinida evalúa ese token frente al archivo. La comprobación en directo no se hace pasar por el bot elegido, no autentica sus solicitudes ni demuestra que respete la política mostrada. Un resultado bloqueado para un token activado por usuarios es una interpretación de reglas, no una garantía de que cesen las solicitudes.
Corrige una regla y vuelve a probar el archivo en directo
Modifica la regla pertinente lo mínimo necesario y comprueba tanto la restricción prevista como la excepción que quieras conservar.
- Copia el archivo actual en el modo de pegado y reproduce el resultado inesperado con la misma URL y el mismo rastreador.
- Corrige la directiva o el grupo coincidente. Prueba la ruta afectada y una URL cercana que deba seguir permitida o bloqueada.
- Repite la comprobación para cada rastreador pertinente. Una prueba correcta con Googlebot no determina el resultado para Bingbot o GPTBot.
- Tras publicar el archivo en tu propio sitio, cambia al modo en directo y repite las comprobaciones. Confirma que el archivo recibido y la línea coincidente reflejan el cambio. Una respuesta reciente de la herramienta no demuestra que un rastreador real haya renovado su copia en caché.
Si quieres eliminar una página de la búsqueda, Disallow por sí solo no basta. Google debe poder rastrear la página para leer su directiva noindex. Protege el contenido confidencial mediante autenticación, no con robots.txt. Google explica los límites del bloqueo de rastreo.
El informe también lista declaraciones Sitemap:; encontrar una dirección no valida su XML ni demuestra la indexación. Ábrela en el Comprobador de Sitemap para esa comprobación independiente. Si el acceso del rastreador es correcto pero la página requiere más investigación, usa el Comprobador SEO On-Page para revisar sus señales SEO a nivel de página.
Comprobador Noindex: Encuentra noindex en el HTML y las cabeceras HTTP de una página. Identifica su origen y si se aplica a la búsqueda web de Google.
Comprobador de acceso de bots de IA: Solo se comprueban las reglas de robots.txt. No se verifica el acceso real, la indexación ni las citas.