Regole dei bot di ricerca IA
Inserisci un dominio o un URL HTTP/HTTPS completo. Percorso e query vengono conservati; robots.txt viene recuperato dall’origine. Il gruppo specifico corrispondente ha priorità su quello con carattere jolly. Prevalgono le regole corrispondenti più lunghe; a parità di specificità vince Allow. Si seguono fino a cinque reindirizzamenti.
Ricerca IA
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Se vuoi essere trovato nella ricerca IA, esamina la regola Disallow corrispondente prima di modificarla. Si controllano solo le regole robots.txt. Il test non conferma l’accesso effettivo, l’indicizzazione o le citazioni.
Addestramento dei modelli
GPTBot · ClaudeBot
Bloccare un bot di addestramento può essere intenzionale. Non è automaticamente un problema SEO.
Visite richieste dagli utenti
ChatGPT-User: robots.txt potrebbe non applicarsi alle visite richieste dagli utenti.
Claude-User rispetta robots.txt nelle visite richieste dagli utenti.
Perplexity-User: Questo bot generalmente ignora robots.txt nelle visite richieste dagli utenti.
Controlli sull’uso dei contenuti
Google-Extended: Controlla l’uso dei contenuti, non un crawler HTTP separato né la Ricerca Google.
Fonte
Risposte inaccessibili, documenti non validi o limiti superati producono un risultato sconosciuto. Con un file assente e stato 404 o 410 si presume l’assenza di restrizioni robots.txt. La risposta robots.txt è limitata a 512 KiB.
Controllo Noindex · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Controlla l’URL che vuoi rendere individuabile
Verifica un URL pubblico di articolo o prodotto, non solo la homepage. Una regola che consente / può coesistere con una restrizione su /private/; il risultato dipende dal percorso richiesto. Per https://example.com/private/report/, esamina gruppo applicato e regola corrispondente prima di valutare il blocco.
Il rapporto distingue risultati consentiti, bloccati e sconosciuti. Leggi prima le righe dei bot di ricerca se vuoi favorire la scoperta. Un totale verde non dimostra permesso per ogni categoria né una futura citazione del contenuto.
Decidi separatamente su ricerca e addestramento
Puoi consentire OAI-SearchBot e bloccare GPTBot. Sono scelte con scopi diversi: rendere le pagine disponibili alla ricerca non richiede un trattamento identico per tutti i bot di addestramento. La distinzione vale anche per altri bot. Conferma lo scopo di ciascun agente nella documentazione pubblicata.
Ripeti il controllo dopo aver modificato robots.txt
Modifica la regola nell’origine dell’URL verificato, pubblicala e ricontrolla lo stesso URL. Prova anche un URL fuori dalla directory limitata per individuare cambiamenti troppo ampi. Conserva le restrizioni intenzionali anziché cancellare tutte le righe Disallow.
Se la politica permette l’accesso ma questo fallisce, verifica separatamente autenticazione, risposte HTTP e restrizioni del server. Lo strumento non conferma questi controlli. Usa il Controllo HTTP in blocco per le risposte e il Controllo Noindex per le direttive di indicizzazione.