Il generatore robots.txt gratuito di Screpy crea un file di testo dai gruppi di crawler, dalle regole Allow e Disallow e dagli URL delle sitemap che inserisci. Puoi preparare un nuovo file o ricostruire una configurazione già pianificata. Copia il risultato oppure scarica robots.txt, poi pubblicalo sul tuo sito.
Il generatore non legge il file esistente, non verifica gli URL pubblicati e non installa modifiche. Prima di sostituire una configurazione funzionante, conservane una copia e stabilisci quali percorsi ogni crawler deve poter richiedere. Un file può avere una sintassi corretta ma esprimere regole sbagliate per il tuo sito.
Come usare il generatore robots.txt
Inizia dal gruppo * per le regole generali. Aggiungi una regola, scegli Allow o Disallow e inserisci un percorso che inizi con /. Scrivi, per esempio, /drafts/, non https://example.com/drafts/. Aggiungi un gruppo soltanto quando un crawler specifico deve seguire regole proprie.
Puoi configurare fino a 10 gruppi distinti, 50 regole esplicite complessive e 10 URL delle sitemap. Usa il nome del crawler, come Googlebot, anziché una stringa User-Agent completa di un browser. In questo strumento, nomi che differiscono solo per maiuscole e minuscole non costituiscono gruppi separati.
Inserisci ogni indirizzo completo HTTP o HTTPS di una sitemap su una riga. Se non hai un indirizzo da indicare, lascia vuoto il campo. Genera il file, controlla gli avvisi e copia o scarica il risultato. Un gruppo senza regole esplicite produce Allow: /: il contatore può quindi essere zero anche se il file contiene questa riga predefinita. Sono limiti del generatore, non del protocollo robots.txt.
Un esempio di robots.txt con un'eccezione consentita
Questa configurazione fittizia limita la scansione di una cartella di bozze e lascia accessibile una sottocartella pubblica. È un esempio da adattare, non una configurazione consigliata per ogni sito.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Per un crawler che utilizza questo gruppo, le decisioni previste sono:
| Percorso URL | Decisione sulla scansione | Motivo |
|---|---|---|
/products/blue-mug/ |
Consentita | Nessuna restrizione corrisponde. |
/drafts/new-page/ |
Bloccata | Corrisponde alla cartella vietata. |
/drafts/public/style-guide/ |
Consentita | Il percorso Allow più lungo introduce un'eccezione. |
/drafts |
Consentita | Non contiene la barra finale di /drafts/. |
L'ultima riga conta se l'applicazione espone entrambe le varianti della cartella. Verifica gli URL realmente disponibili, comprese le varianti di barra e query. La decisione esprime il permesso secondo il file, senza dimostrare disponibilità HTTP o indicizzazione. La riga Sitemap indica la posizione di un file e non prevale su Disallow.
Selezionare i percorsi giusti con i caratteri jolly
Controlla ogni regola con un URL che deve corrispondere e con un URL simile che vuoi lasciare scansionabile. I percorsi distinguono maiuscole e minuscole: /Catalog/ e /catalog/ sono diversi. Una barra mancante o un prefisso troppo ampio può coinvolgere pagine non previste.
| Modello | Cosa verificare prima di usarlo |
|---|---|
/catalog |
È un prefisso: corrisponde anche a /catalogue/. |
/catalog/ |
Corrisponde ai discendenti della cartella, ma non a /catalog da solo. |
/catalog$ |
Corrisponde alla terminazione esatta, non a /catalog/ o /catalog?sort=price. |
/*.pdf$ |
Corrisponde a URL terminanti in .pdf minuscolo; una query dopo l'estensione cambia la terminazione. |
Il Robots Exclusion Protocol definisce * per una sequenza di caratteri e $ per la fine di una corrispondenza. Un # letterale avvia un commento. Codifica un cancelletto o uno spazio appartenente all'URL invece di inserirlo senza codifica nel percorso. Mantieni modelli abbastanza specifici da poterli spiegare e verificare. Il modulo conserva i modelli, ma non calcola tutti gli URL che potrebbero interessare.
Assegnare a ogni crawler un gruppo completo
Le restrizioni del gruppo generico non si aggiungono automaticamente al gruppo specifico di Googlebot. Per esempio:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Qui il gruppo Googlebot limita /previews/, ma non /drafts/. Se vuoi limitare entrambe le cartelle per Googlebot, aggiungi entrambe le regole al suo gruppo. La specifica robots.txt di Google spiega la selezione dei gruppi e le corrispondenze. In caso di conflitto tra Allow e Disallow di pari specificità, Google sceglie Allow. Spostare la stessa regola più in basso non le dà precedenza.
Aggiungi un gruppo specifico solo quando conosci la distinzione desiderata. I crawler per ricerca, addestramento e richieste degli utenti possono usare identificatori diversi. Esamina le regole di un bot supportato con AI Bot Access Tester, anziché presumere che un gruppo controlli ogni attività di un servizio.
Leggere gli avvisi prima di copiare il file
Il rapporto evidenzia tre situazioni che richiedono una decisione consapevole. Un avviso invita a rivedere le regole; non dimostra che il file sia inutilizzabile.
| Avviso | Cosa controllare |
|---|---|
| Disallow per tutto il sito | Un gruppo contiene Disallow: /. Conferma che la restrizione generale sia voluta ed esamina eventuali eccezioni Allow più specifiche. |
| Gruppo di un crawler specifico | Il gruppo generico contiene regole esplicite e un altro crawler ha un gruppo proprio. Verifica che questo includa le restrizioni previste. |
| Allow e Disallow sullo stesso percorso | Entrambe le azioni usano lo stesso percorso nel gruppo. Elimina il conflitto involontario; a pari specificità Google preferisce Allow. |
Un risultato senza avvisi non è un audit della scansione effettiva. Questi controlli non stabiliscono se una risorsa serve al rendering, se una sitemap è raggiungibile o se ogni modello interessa le pagine desiderate. Mantieni scansionabili fogli di stile, script e immagini necessari alla pagina. Non bloccare intere cartelle di risorse solo perché lo suggerisce un modello generico.
Pubblicare robots.txt e controllare la risposta effettiva
Salva il file attuale prima di sostituirlo. Pubblica il testo generato come risorsa di testo UTF-8 chiamata esattamente robots.txt, senza un'ulteriore estensione .txt. Per un sito HTTPS su www.example.com, verifica https://www.example.com/robots.txt. Un file in /blog/robots.txt non configura l'intero host. Protocollo, host e porta sono rilevanti.
Su WordPress, un altro CMS o un servizio di creazione siti ospitato, identifica prima cosa serve quell'URL: un file fisico, una risposta generata da un plugin o un'impostazione della piattaforma. Aggiorna la fonte responsabile. Inserire un secondo file altrove non modifica necessariamente la risposta pubblicata. Screpy non offre modelli per CMS e non pubblica il file al posto tuo.
Dopo la pubblicazione:
- Apri l'indirizzo esatto di robots.txt senza effettuare l'accesso e verifica che restituisca il testo previsto, non una schermata di accesso o una pagina HTML.
- Usa Robots.txt Tester sugli URL importanti consentiti e bloccati. Includi le eccezioni e le varianti dei percorsi.
- Esamina risposte inattese con HTTP Headers Checker e verifica separatamente la sitemap dichiarata con Sitemap Checker.
La guida alla creazione di Google descrive il caricamento e le verifiche di accesso pubblico. I crawler scoprono il file pubblicato; scaricarlo qui non equivale a inviarlo. Una copia nella cache può anche ritardare il rilevamento delle modifiche.
Scegliere il controllo giusto per indicizzazione o pagine private
Usa robots.txt per comunicare restrizioni alla scansione. Se vuoi escludere da Google una pagina che resta pubblica, Google documenta noindex tramite meta tag o intestazione HTTP. Google deve poter accedere alla pagina per leggere l'istruzione. Bloccare lo stesso URL in robots.txt può impedirlo; una riga Noindex: in robots.txt non è supportata da Google.
Controlla le direttive esistenti con Noindex Checker prima di scegliere una soluzione. Per documenti riservati o un ambiente di prova privato, usa autenticazione e controlli di accesso adeguati. Né un robots.txt pubblico né un'istruzione noindex proteggono l'accesso al contenuto. Generare altre regole non sostituisce la scelta del controllo corretto.