Reglas de bots de búsqueda con IA
Introduce un dominio o una URL HTTP/HTTPS completa. Se conservan la ruta y la consulta; robots.txt se obtiene del origen. El grupo específico coincidente tiene prioridad sobre el comodín. Se priorizan las reglas coincidentes más largas; Allow gana si la especificidad es igual. Se siguen hasta cinco redirecciones.
Búsqueda con IA
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Si quieres aparecer en búsquedas con IA, revisa la regla Disallow coincidente antes de cambiarla. Solo se comprueban las reglas de robots.txt. No se verifica el acceso real, la indexación ni las citas.
Entrenamiento de modelos
GPTBot · ClaudeBot
Bloquear un bot de entrenamiento puede ser intencional. No es automáticamente un problema de SEO.
Visitas solicitadas por usuarios
ChatGPT-User: robots.txt puede no aplicarse a las visitas solicitadas por usuarios.
Claude-User respeta robots.txt en las visitas solicitadas por usuarios.
Perplexity-User: Este bot suele ignorar robots.txt en las visitas solicitadas por usuarios.
Controles de uso del contenido
Google-Extended: Controla el uso del contenido, no un rastreador HTTP independiente ni la Búsqueda de Google.
Fuente
Una respuesta inaccesible, un documento no válido o un límite superado producen un resultado desconocido. Con un archivo ausente con estado 404 o 410 se asume que no hay restricción de robots.txt. La respuesta de robots.txt está limitada a 512 KiB.
Comprobador Noindex · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Prueba la URL que quieres que se descubra
Comprueba una URL pública de artículo o producto, no solo la página de inicio. Una regla que permite / puede coexistir con una restricción en /private/; la respuesta depende de la ruta solicitada. Para https://example.com/private/report/, revisa el grupo aplicado y la regla coincidente antes de decidir si el bloqueo es intencional.
El informe separa resultados permitidos, bloqueados y desconocidos. Lee primero las filas de bots de búsqueda si buscas visibilidad. Un total verde no demuestra permiso para todas las categorías ni que el contenido aparecerá en una respuesta.
Decide por separado sobre búsqueda y entrenamiento
Puedes permitir OAI-SearchBot y bloquear GPTBot. Son decisiones con fines distintos: ofrecer páginas para búsqueda no exige tratar igual a todos los bots de entrenamiento. La distinción también importa para otros bots. Confirma el propósito de cada agente en su documentación publicada.
Repite la prueba tras cambiar robots.txt
Edita la regla en el origen de la URL comprobada, publícala y vuelve a probar exactamente esa URL. Comprueba otra URL fuera del directorio restringido para detectar cambios demasiado amplios. Conserva una restricción intencional en vez de eliminar todas las líneas Disallow.
Si la política permite acceso pero este falla, investiga por separado autenticación, respuestas HTTP y restricciones del servidor. Este comprobador no verifica esos controles. Usa el Comprobador HTTP por lotes para respuestas y el Comprobador Noindex para directivas de indexación.