Tester e validatore gratuito di robots.txt
Controlla se un URL è consentito o bloccato per Google, ricerca IA, addestramento e crawler personalizzati. Testa un sito live o incolla un file robots.txt per vedere la regola e la riga applicate.
Testa una regola di crawling in tre passaggi.
Controlla un URL senza creare un progetto o un account. La modalità live legge solo il file robots.txt pubblico del sito.
Scegli la fonte
Recupera il file robots.txt pubblico di un sito oppure incolla contenuti da testare privatamente nel browser.
Seleziona un crawler
Scegli il token di un prodotto di ricerca, ricerca IA, addestramento, attivato dall’utente o personalizzato e inserisci il percorso URL da testare.
Leggi la corrispondenza esatta
Verifica se l’URL è consentito, quale gruppo si applica e quale regola Allow o Disallow, con la relativa riga, determina il risultato.
Capisci perché un crawler è autorizzato o bloccato.
Un risultato utile deve mostrare la regola alla base della decisione, non solo uno stato verde o rosso.
Vince la regola più specifica
Il tester applica il comportamento della corrispondenza più lunga. Se regole Allow e Disallow altrettanto specifiche entrano in conflitto, vince Allow perché meno restrittiva.
Corrispondenza con caratteri jolly e finale
Usa un asterisco per corrispondere a una sequenza di caratteri e un simbolo del dollaro per ancorare una regola alla fine dell’URL testato.
I gruppi User-Agent contano
Un gruppo specifico per il crawler ha precedenza sul gruppo globale *. I crawler di ricerca, addestramento e attivati dall’utente devono essere testati separatamente.
Nessuna regola significa accesso predefinito
Quando nessuna regola Allow o Disallow applicabile corrisponde, l’URL è consentito per impostazione predefinita secondo il protocollo di esclusione dei robot.
Robots.txt controlla l’accesso, non l’inclusione nei risultati di ricerca.
Controllo del crawling
Le regole Allow e Disallow indicano a un crawler compatibile quali percorsi URL può richiedere.
Controllo dell’indicizzazione
Usa direttive noindex esplorabili e procedure di rimozione dai motori quando un URL non deve comparire nei risultati.
Domande sul tester robots.txt
Risposte chiare su regole di scansione, token dei crawler IA, stati di errore e indicizzazione.
Cosa fa un tester robots.txt?
Un tester robots.txt confronta un user-agent e un URL con le regole di un file robots.txt. Mostra se la scansione è consentita, quale gruppo User-Agent si applica e la regola esatta quando esiste una corrispondenza.
Robots.txt impedisce l’indicizzazione di una pagina?
Non da solo. Robots.txt controlla la scansione, non l’indicizzazione. Un URL bloccato può essere scoperto tramite link e apparire senza uno snippet completo. Usa una direttiva noindex appropriata su una pagina scansionabile se vuoi rimuoverla dai risultati.
Cosa significa «Consentito per impostazione predefinita»?
Significa che il tester non ha trovato una regola applicabile che blocchi l’URL. Può accadere se non esiste un gruppo User-Agent corrispondente, se il gruppo non contiene una regola pertinente o se non esiste un file robots.txt utilizzabile.
Posso testare i crawler IA separatamente da Googlebot?
Sì. I crawler di ricerca, ricerca IA, addestramento dei modelli e recupero attivato dall’utente usano token diversi e possono avere regole differenti. Seleziona ogni agente separatamente per controllare la policy applicata.
Cosa significano * e $ in robots.txt?
Un asterisco corrisponde a una sequenza di caratteri in un percorso URL. Il simbolo del dollaro fissa uno schema alla fine dell’URL. Il tester supporta entrambi i modelli per identificare la regola applicabile più specifica.
Cosa succede quando robots.txt restituisce 404 o 403?
I crawler principali trattano generalmente la maggior parte delle risposte 4xx come se non fossero state pubblicate restrizioni di scansione. Una risposta 429 segnala una limitazione temporanea, quindi il tester indica uno stato live indeterminato.
Perché un risultato 5xx o di timeout è indeterminato?
Un errore temporaneo del server o della rete non dimostra che un crawler sia consentito o bloccato. I crawler possono sospendere le richieste o riutilizzare un file robots.txt memorizzato nella cache; il tester evita quindi una decisione definitiva.
Screpy memorizza gli URL o il contenuto robots.txt incollato?
No. Il contenuto incollato viene analizzato nel browser e non viene caricato. La modalità live invia solo il sito, l’URL testato e il crawler selezionato per il controllo corrente; questi dati non vengono memorizzati.