Probador y validador gratuito de Robots.txt
Comprueba si una URL está permitida o bloqueada para Google, búsqueda con IA, entrenamiento y rastreadores personalizados. Prueba un sitio en directo o pega un archivo robots.txt para ver la regla y línea que se aplican.
Prueba una regla de rastreo en tres pasos.
Comprueba una URL sin crear un proyecto ni una cuenta. El modo en directo solo lee el archivo robots.txt público del sitio.
Elige la fuente
Obtén el archivo robots.txt público de un sitio o pega contenido que quieras probar de forma privada en tu navegador.
Selecciona un rastreador
Elige un token de producto de búsqueda, búsqueda con IA, entrenamiento, activado por el usuario o personalizado e introduce la ruta que quieres probar.
Lee la coincidencia exacta
Comprueba si la URL está permitida, qué grupo se aplica y qué regla Allow o Disallow y línea determinan el resultado.
Entiende por qué un rastreador tiene permiso o está bloqueado.
Un resultado útil debe mostrar la regla detrás de la decisión, no solo un estado verde o rojo.
Gana la regla más específica
El comprobador aplica el comportamiento de coincidencia más larga. Si chocan reglas Allow y Disallow igual de específicas, gana Allow por ser menos restrictiva.
Coincidencias con comodín y final
Usa un asterisco para coincidir con una secuencia de caracteres y un signo de dólar para anclar una regla al final de la URL probada.
Los grupos de user-agent importan
Un grupo específico del rastreador tiene prioridad sobre el grupo global *. Los agentes de búsqueda, entrenamiento y activados por el usuario deben probarse por separado.
Sin regla, el acceso es permitido por defecto
Cuando ninguna regla Allow o Disallow aplicable coincide, la URL se permite por defecto según el protocolo de exclusión de robots.
Robots.txt controla el acceso, no la inclusión en las búsquedas.
Control del rastreo
Las reglas Allow y Disallow indican a un rastreador compatible qué rutas URL puede solicitar.
Control de indexación
Usa directivas noindex rastreables y procesos de eliminación de buscadores cuando una URL no deba aparecer en los resultados.
Preguntas sobre el comprobador de robots.txt
Respuestas claras sobre reglas de rastreo, tokens de rastreadores de IA, estados de error e indexación.
¿Qué hace un comprobador de robots.txt?
Compara un user-agent de rastreador y una URL con las reglas de un archivo robots.txt. Muestra si el rastreo está permitido, qué grupo de user-agent se aplica y la regla exacta cuando existe una coincidencia.
¿Robots.txt evita que una página se indexe?
No por sí solo. Robots.txt controla el rastreo, no la indexación. Una URL bloqueada aún puede descubrirse mediante enlaces y aparecer sin un fragmento completo. Usa una directiva noindex adecuada en una página rastreable si quieres quitarla de los resultados.
¿Qué significa “Permitido por defecto”?
Significa que el comprobador no encontró una regla aplicable que bloquee la URL. Puede ocurrir si no existe un grupo de user-agent coincidente, si el grupo no tiene una regla relevante o si no hay un archivo robots.txt utilizable.
¿Puedo probar rastreadores de IA por separado de Googlebot?
Sí. Los rastreadores de búsqueda, búsqueda con IA, entrenamiento de modelos y obtención activada por el usuario usan tokens distintos y pueden tener reglas diferentes. Selecciona cada agente por separado para comprobar la política que se aplica.
¿Qué significan * y $ en robots.txt?
Un asterisco coincide con una secuencia de caracteres en una ruta URL. Un signo de dólar fija un patrón al final de la URL. El comprobador admite ambos patrones para identificar la regla aplicable más específica.
¿Qué ocurre si robots.txt devuelve un 404 o 403?
Los rastreadores principales suelen tratar la mayoría de respuestas 4xx como si no se hubieran publicado restricciones. Un 429 indica limitación temporal de solicitudes, por lo que el comprobador informa de un estado en directo indeterminado.
¿Por qué un resultado 5xx o de tiempo de espera es indeterminado?
Un fallo temporal del servidor o de la red no demuestra que un rastreador esté permitido o bloqueado. Los rastreadores pueden pausar solicitudes o reutilizar un archivo robots.txt en caché, así que el comprobador evita mostrar una decisión definitiva.
¿Screpy guarda las URL o el contenido de robots.txt pegado?
No. El contenido pegado se analiza en tu navegador y no se sube. El modo en directo solo envía el sitio, la URL probada y el rastreador seleccionado para la comprobación actual, y la herramienta no guarda esos datos.