Generatore robots.txt per i crawler AI
Scegli un profilo di partenza, correggi i singoli bot e copia le regole da aggiungere al robots.txt del sito.
| Bot | Di chi è | A cosa serve | Accesso |
|---|
Ogni assistente AI ha i suoi crawler: alcuni raccolgono testi per addestrare i modelli, altri leggono le pagine per rispondere alle domande degli utenti e citare le fonti. Con questo generatore decidi, bot per bot, chi può leggere il tuo sito e ottieni le righe da incollare nel file robots.txt.
Perché distinguere tra addestramento e ricerca
Bloccare tutti i bot AI sembra la scelta più prudente, ma ha un costo: se blocchi i crawler che servono alla ricerca, le risposte di ChatGPT, Claude o Perplexity non potranno citare le tue pagine. Per questo molti siti scelgono una via di mezzo: lasciano entrare i bot di ricerca e di richiesta dell’utente, che portano visibilità e link, e chiudono quelli che raccolgono testi per l’addestramento.
- Addestramento: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent, Bytespider.
- Ricerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Richiesta dell’utente: ChatGPT-User, Claude-User, Perplexity-User, quando una persona chiede all’assistente di aprire una pagina.
Come usare il generatore
- Parti da uno dei tre profili: tutto aperto, ricerca sì e addestramento no, tutto chiuso.
- Correggi i singoli bot se ti serve una regola diversa.
- Aggiungi, se vuoi, l’indirizzo della sitemap.
- Copia il testo generato e aggiungilo al robots.txt del sito, senza cancellare le regole che hai già per Googlebot e gli altri motori di ricerca.
Cosa il robots.txt non può fare
Il robots.txt è un’indicazione che i crawler dichiarati rispettano, non un blocco tecnico: un bot che non si identifica può ignorarlo. Inoltre Google-Extended riguarda l’uso dei contenuti per Gemini e non toglie il sito dalla Ricerca Google né dalle AI Overview, che usano Googlebot. I nomi dei bot cambiano nel tempo: prima di pubblicare controlla sempre la documentazione ufficiale di ogni azienda.
