El AI Bot Access Tester de Screpy evalúa las reglas de robots.txt de una URL exacta para nueve bots o controles de uso de contenido. Separa búsqueda con IA, entrenamiento y visitas solicitadas por usuarios para revisar la regla correspondiente a tu objetivo. El resultado muestra la política publicada, no si un bot real accedió, indexó o citó la página.
Prueba la URL exacta y su origen
Introduce un dominio o una URL HTTP/HTTPS pública completa. Un dominio comprueba la ruta raíz; una dirección completa conserva ruta y consulta al evaluar reglas. Si te preocupa una guía de producto, pruébala en vez de suponer que el resultado de la portada se aplica a todo.
La herramienta recupera robots.txt del origen de la URL. Subdominios y orígenes HTTP/HTTPS pueden tener archivos diferentes. Comprueba la dirección realmente publicada. Los detalles muestran la dirección solicitada de robots.txt, su destino tras redirecciones y la hora. Se siguen hasta cinco redirecciones de la fuente.
Usa Buscador de subdominios para encontrar otros hosts que revisar y comprueba por separado la política de bots de cada origen relevante. Un registro de certificado no confirma una web operativa ni acceso real de bots.
La URL de página es el objetivo para cotejar reglas, no para analizar contenido. Recuperar robots.txt correctamente no demuestra que el artículo sea accesible o legible. Guarda la dirección probada junto al resultado al comparar cambios.
Separa búsqueda con IA, entrenamiento y visitas del usuario
Bloquear un rastreador de entrenamiento no implica automáticamente un problema de descubrimiento. Lee la finalidad antes de decidir que todo debe aparecer verde. El informe actual cubre nueve entradas:
| Finalidad | Entradas del informe | Interpretación |
|---|---|---|
| Búsqueda con IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Revisa estas filas para el descubrimiento en cada experiencia de búsqueda |
| Entrenamiento | GPTBot, ClaudeBot | Excluir entrenamiento puede ser intencional e independiente de la búsqueda |
| Visitas solicitadas | ChatGPT-User, Claude-User, Perplexity-User | Lee la nota de comportamiento: no tratan robots.txt de la misma manera |
| Control de uso del contenido | Google-Extended | Token de uso, no un rastreador HTTP independiente ni un control del ranking de Google |
La documentación de rastreadores de OpenAI distingue OAI-SearchBot y GPTBot e indica que robots.txt puede no aplicarse a solicitudes de ChatGPT-User iniciadas por una persona. Permitir búsqueda y bloquear entrenamiento es una elección separada, no una contradicción.
La guía de bots de Anthropic distingue los agentes de búsqueda, entrenamiento y usuario, y afirma que respetan robots.txt. La documentación de Perplexity separa PerplexityBot de Perplexity-User, que generalmente ignora robots.txt cuando recupera páginas a petición del usuario.
La documentación Google-Extended de Google describe controles de uso y declara que el token no afecta la inclusión ni el ranking en Google Search. No interpretes esa fila como prueba de Googlebot ni de todas las funciones de búsqueda con IA de Google. Finalidades y comportamientos pueden cambiar; consulta estas fuentes al revisar una política duradera.
Lee el grupo aplicado y la regla coincidente
La evidencia identifica bot, grupo, regla Allow o Disallow coincidente y línea. Un grupo específico coincidente tiene prioridad sobre el comodín. Entre las reglas aplicables, prevalece la ruta coincidente más larga; Allow gana con igual especificidad. Sin restricción coincidente significa que no se encontró una prohibición aplicable. No exige una línea Allow explícita.
Imagina un grupo ficticio de OAI-SearchBot con Disallow para /private/ y Allow más específico para /private/public-guide/. La guía puede estar permitida mientras /private/report/ sigue bloqueada. Añadir otro grupo GPTBot que bloquee todas las rutas no cambia esas decisiones de OAI-SearchBot. Es un ejemplo de coincidencia, no una política recomendada para copiar.
Desconocido no significa bloqueado. Una fuente inaccesible, documento inválido o límite superado deja la política sin resolver. La fuente se limita a 512 KiB. Un robots.txt ausente con 404 o 410 indica que no se encontró restricción en ese archivo, no que desaparezcan autenticación y otros controles. Revisa avisos y diagnósticos de líneas antes de cambiar. Para un agente personalizado o un análisis detallado usa el Robots.txt Tester.
Cambia únicamente la política que quieras cambiar
Si buscas descubrimiento en IA, empieza por los bots de búsqueda y la restricción coincidente. Conserva las prohibiciones intencionales de entrenamiento y rutas privadas en lugar de borrar todos los Disallow. Edita el archivo del origen responsable, publícalo y repite la URL exacta. Prueba también una URL que deba seguir bloqueada para detectar cambios demasiado amplios.
Una política permitida no es una prueba de acceso real. La herramienta no realiza solicitudes como los nueve agentes, inspecciona registros de tráfico ni verifica autenticación o reglas de acceso del servidor. El total permitido no es una puntuación de visibilidad; un archivo ausente no garantiza acceso ilimitado.
Investiga respuestas HTTP con el Bulk HTTP Status Checker, recordando que tampoco demuestra qué recibe cada bot auténtico. Para directivas de indexación utiliza el Noindex Checker. Política, recuperación, indexación y selección como fuente son preguntas distintas. Cambiar una regla no garantiza tráfico, recomendaciones ni citas.
Antes de publicar el archivo, usa Validador llms.txt para comprobar su estructura Markdown y los enlaces encontrados. Las comprobaciones HTTP opcionales examinan destinos limitados; no demuestran que un agente de IA lea el archivo.
Para una revisión más amplia, usa Preparación para búsquedas con IA y examina HTML, políticas robots y archivos de descubrimiento limitados juntos. Sus hallazgos técnicos no miden visibilidad IA ni garantizan citas.