L’AI Bot Access Tester di Screpy verifica la politica robots.txt di un URL preciso rispetto a nove bot o controlli d’uso dei contenuti. Distingue ricerca IA, addestramento e visite richieste dall’utente per valutare la regola adatta allo scopo. Il risultato mostra la politica pubblicata, non dimostra che un vero bot abbia raggiunto, indicizzato o citato la pagina.
Verifica l’URL esatto e la sua origine
Inserisci un dominio o un URL HTTP/HTTPS pubblico completo. Il dominio controlla il percorso radice; l’indirizzo completo conserva percorso e query nel confronto delle regole. Se ti interessa una guida prodotto, verifica quella senza estendere a tutto il sito il risultato della homepage.
Lo strumento recupera robots.txt dall’origine dell’URL indicato. Sottodomini e origini HTTP/HTTPS possono avere file differenti. Controlla l’indirizzo effettivamente pubblicato. I dettagli mostrano URL richiesto del file, destinazione finale dopo i redirect e ora del controllo. Vengono seguiti fino a cinque redirect della fonte.
Usa Trova sottodomini per trovare altri host da esaminare, poi controlla separatamente la politica dei bot di ogni origine pertinente. Un certificato non conferma un sito funzionante o l'accesso effettivo dei bot.
L’URL della pagina è il bersaglio del confronto, non dell’analisi dei contenuti. Recuperare robots.txt non prova quindi che l’articolo sia raggiungibile o leggibile. Conserva l’indirizzo testato insieme al risultato per confrontare prima e dopo.
Separa ricerca IA, addestramento e visite dell’utente
Bloccare un crawler di addestramento non è automaticamente un problema di scoperta nella ricerca. Leggi lo scopo prima di voler rendere verde ogni riga. Il rapporto attuale comprende nove voci:
| Scopo | Voci del rapporto | Interpretazione |
|---|---|---|
| Ricerca IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Da valutare per la scoperta nella rispettiva esperienza di ricerca |
| Addestramento | GPTBot, ClaudeBot | L’esclusione dall’addestramento può essere intenzionale e separata dalla ricerca |
| Visite richieste dall’utente | ChatGPT-User, Claude-User, Perplexity-User | Leggere la nota: i tre non trattano robots.txt allo stesso modo |
| Controllo d’uso dei contenuti | Google-Extended | Token di controllo, non crawler HTTP separato o comando di ranking Google |
La documentazione crawler di OpenAI distingue OAI-SearchBot da GPTBot e indica che robots.txt potrebbe non applicarsi alle richieste ChatGPT-User avviate da una persona. Consentire ricerca e bloccare addestramento è una scelta distinta, non un risultato incoerente.
Le indicazioni di Anthropic distinguono agenti di ricerca, addestramento e utente e dichiarano che rispettano robots.txt. La guida Perplexity separa PerplexityBot da Perplexity-User, che generalmente ignora robots.txt nei recuperi richiesti dall’utente.
La documentazione Google-Extended di Google descrive l’uso dei contenuti e precisa che il token non influenza inclusione o posizionamento in Google Search. Non trattare questa riga come verifica di Googlebot o di tutte le funzioni di ricerca IA Google. Ruoli e comportamenti possono cambiare; consulta le fonti ufficiali per politiche durature.
Leggi il gruppo applicato e la regola corrispondente
Le prove identificano bot, gruppo, regola Allow o Disallow e riga della fonte. Un gruppo specifico corrispondente ha priorità sul gruppo jolly. Fra le regole applicabili prevale il percorso corrispondente più lungo; a pari specificità vince Allow. Nessuna restrizione corrispondente significa nessun divieto trovato per quel bersaglio. Non serve necessariamente una riga Allow esplicita.
Immagina un gruppo fittizio OAI-SearchBot con Disallow per /private/ e Allow più specifico per /private/public-guide/. La guida può essere consentita mentre /private/report/ rimane bloccato. Un gruppo GPTBot separato che blocca tutti i percorsi non modifica queste decisioni OAI-SearchBot. È un esempio di confronto, non una politica consigliata da incollare.
Sconosciuto non equivale a bloccato. Fonte irraggiungibile, documento non valido o limite superato lasciano la politica irrisolta. Il limite della fonte è 512 KiB. Un robots.txt assente con 404 o 410 indica nessuna restrizione trovata nel file, non la scomparsa di autenticazione o altri controlli. Leggi avvisi e diagnostica delle righe prima di modificare. Per agenti personalizzati o analisi dettagliate usa il Robots.txt Tester.
Cambia soltanto la politica desiderata
Se vuoi la scoperta nella ricerca IA, parti dai bot di ricerca e dalla restrizione corrispondente. Mantieni i blocchi intenzionali su addestramento e percorsi privati invece di eliminare ogni Disallow. Modifica il file dell’origine corretta, pubblica e ripeti lo stesso URL. Verifica anche un URL che deve restare bloccato per individuare cambiamenti troppo ampi.
Una politica consentita non prova l’accesso effettivo. Lo strumento non invia richieste come tutti i nove agenti, non esamina log né controlla autenticazione o regole d’accesso del server. Il totale consentito non è un punteggio di visibilità e un file mancante non garantisce accesso libero.
Esamina le risposte con il Bulk HTTP Status Checker, ricordando che neppure quella richiesta prova cosa riceva ogni bot autentico. Per le direttive di indicizzazione usa il Noindex Checker. Politica, recupero, indicizzazione e selezione come fonte sono domande diverse. Cambiare una regola non garantisce traffico, raccomandazioni o citazioni.
Prima di pubblicare il file, usa il validatore llms.txt per controllare struttura Markdown e link rilevati. I controlli HTTP facoltativi esaminano un numero limitato di destinazioni; non dimostrano che un agente IA legga il file.
Per un esame più ampio usa Preparazione alla ricerca IA e analizza insieme HTML, regole robots e file di scoperta limitati. I risultati tecnici non misurano visibilità IA né garantiscono citazioni.