Il Tester di robots.txt verifica se le regole di un sito consentono a un crawler selezionato di richiedere un URL specifico. Testa il file live o incolla una bozza, poi esamina il gruppo, la direttiva e la riga corrispondenti. Il risultato spiega il permesso di scansione secondo quelle regole; non conferma che un bot abbia visitato la pagina o che l’URL sia indicizzato.
Scegli la fonte robots.txt e l’URL
Usa Sito live per leggere il file pubblico attualmente servito dal sito. Inserisci https://example.com, il percorso /products/item e il crawler da controllare. Screpy richiede /robots.txt; non recupera la pagina testata e non scansiona l’intero sito.
Usa Incolla robots.txt per una bozza non pubblicata. Il testo incollato viene analizzato nel browser senza essere caricato. Indica l’indirizzo del sito come contesto, così il tester può risolvere l’URL di destinazione.
Mantieni esatti il protocollo e il nome host: https://example.com, http://example.com e https://www.example.com sono origini diverse. Un dominio senza protocollo usa HTTPS. Un URL di test completo deve avere la stessa origine del sito inserito; un percorso viene risolto rispetto a essa. Testare / controlla soltanto il percorso della homepage. Quando controlli un altro URL, conserva maiuscole e minuscole effettive e i parametri di query.
Scegli un crawler predefinito o inserisci un token di prodotto personalizzato come ExampleBot, anziché un’intera intestazione user-agent del browser.
Leggi il risultato del test robots.txt
Leggi lo stato insieme alle informazioni che lo giustificano, soprattutto il gruppo corrispondente e la riga evidenziata.
| Stato | Significato | Cosa esaminare |
|---|---|---|
| Consentito — verde | Una regola Allow corrispondente consente questo URL. |
La direttiva e la riga determinanti. |
| Bloccato — rosso | Una regola Disallow corrispondente blocca questo URL. |
Se percorso e crawler sono quelli che intendevi controllare. |
| Consentito per impostazione predefinita — blu | Nessuna regola di percorso applicabile limita questo URL. | Il gruppo selezionato e la disponibilità di un file live utilizzabile. |
| Non determinato — giallo | Il controllo live non può stabilire una decisione basata sulle regole. | La risposta della fonte o l’avviso di recupero. |
Per un controllo live, esamina prima l’URL di robots.txt e lo stato HTTP. Questo tester tratta 404, 403 e le altre risposte 4xx, tranne 429, come assenza di restrizioni pubblicate. Un limite di richieste, un errore del server o un reindirizzamento non risolto lasciano la decisione non determinata; un timeout può mostrare un errore invece di un risultato. Questi casi non provano un Disallow esplicito. I crawler reali possono usare un file in cache o gestire gli errori diversamente; Google documenta le proprie regole di risposta.
Controlla gli avvisi di analisi prima di fidarti di un risultato predefinito inatteso. Una direttiva scritta male o la mancanza dei due punti possono lasciare inutilizzata la regola prevista. Screpy elabora al massimo i primi 500 KiB e segnala il contenuto troncato. In caso di troncamento, la decisione descrive la parte elaborata; le regole successive non sono state controllate.
Comprendi quale regola robots.txt prevale
Un gruppo specifico del crawler ha precedenza su User-agent: *; le regole dei due gruppi non vengono ereditate insieme. Nel gruppo applicabile prevale la regola di percorso corrispondente più lunga. Se corrispondono regole Allow e Disallow altrettanto specifiche, prevale Allow. I gruppi corrispondenti per lo stesso agente specifico possono essere combinati, quindi esamina anche i gruppi ripetuti. Questi principi sono descritti nel Protocollo di esclusione dei robot.
Incolla questa policy di esempio e confronta i seguenti test:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Crawler | Percorso testato | Risultato atteso | Motivo |
|---|---|---|---|
| Bingbot | /private/report |
Bloccato | Corrisponde la regola globale /private/. |
| Bingbot | /private/help/guide |
Consentito | Prevale l’eccezione più lunga /private/help/. |
| Googlebot | /private/report |
Consentito per impostazione predefinita | Il suo gruppo specifico non ha una regola corrispondente; il blocco globale non viene ereditato. |
| Googlebot | /preview/page |
Bloccato | Corrisponde la sua regola specifica /preview/. |
L’esempio dimostra la corrispondenza delle regole, non un’area privata protetta. I percorsi distinguono maiuscole e minuscole: /Private/ è diverso da /private/. Nei modelli di percorso, * corrisponde a una sequenza di caratteri e $ indica la fine. Per esempio, Disallow: /*.pdf$ corrisponde a /guide.pdf, ma non a /guide.pdf?download=1. Testa l’URL esatto che usi, senza presumere che varianti simili condividano lo stesso risultato.
Testa separatamente i crawler di ricerca e IA
Il token di prodotto selezionato cambia le regole applicabili. Controlla Googlebot e Bingbot singolarmente quando il problema riguarda la scansione dei motori di ricerca. Per gli agenti IA, distingui ricerca, addestramento dei modelli e recupero richiesto dall’utente, senza presumere che una sola regola copra tutto.
Per esempio, OAI-SearchBot serve alla ricerca ChatGPT, mentre GPTBot scansiona contenuti che possono essere utilizzati per addestrare modelli. ChatGPT-User gestisce determinate azioni avviate dagli utenti e le regole robots.txt potrebbero non applicarsi a quelle richieste, secondo la documentazione dei crawler OpenAI.
Selezionare un preset valuta quel token rispetto al file. Il controllo live non si presenta come il bot scelto, non autentica le sue richieste e non dimostra che rispetti la policy visualizzata. Un risultato bloccato per un token attivato dall’utente è un’interpretazione delle regole, non una garanzia che le richieste cessino.
Correggi una regola e ritesta il file live
Apporta la modifica minima alla regola pertinente, poi controlla sia la restrizione prevista sia l’eccezione da preservare.
- Copia il file attuale nella modalità di incollaggio e riproduci il risultato inatteso con lo stesso URL e crawler.
- Correggi la direttiva o il gruppo corrispondente. Testa il percorso interessato e un URL vicino che deve rimanere consentito o bloccato.
- Ripeti per ogni crawler pertinente. Un controllo riuscito con Googlebot non stabilisce il risultato per Bingbot o GPTBot.
- Dopo aver pubblicato il file sul tuo sito, passa alla modalità live e ripeti i controlli. Verifica che il file ricevuto e la riga corrispondente riflettano la modifica. Una risposta recente dello strumento non prova che un crawler reale abbia aggiornato la propria copia in cache.
Se vuoi rimuovere una pagina dalla ricerca, Disallow da solo non basta. Google deve poter scansionare la pagina per leggere la direttiva noindex. Proteggi i contenuti riservati tramite autenticazione, non con robots.txt. Google spiega i limiti del blocco della scansione.
Il rapporto elenca anche le dichiarazioni Sitemap:; trovare un indirizzo non convalida il suo XML né prova l’indicizzazione. Aprilo nel Controllo Sitemap per quella verifica separata. Se l’accesso del crawler è corretto ma la pagina richiede ulteriori indagini, usa il Controllo SEO On-Page per esaminare i suoi segnali SEO a livello di pagina.
Controllo Noindex: Trova noindex nell’HTML e negli header HTTP di una pagina. Scopri la fonte e se si applica alla ricerca web di Google.
Test di accesso dei bot IA: Si controllano solo le regole robots.txt. Il test non conferma l’accesso effettivo, l’indicizzazione o le citazioni.