---
title: "Generatore robots.txt per i crawler AI"
url: https://www.conseolente.it/generatore-robots-txt-crawler-ai/
aggiornato: 2026-10-23
descrizione: "Scegli quali crawler di ChatGPT, Claude, Perplexity, Gemini e degli altri modelli possono leggere il tuo sito e copia le regole pronte per il robots.txt.…"
---

# Generatore robots.txt per i crawler AI

> Versione per assistenti AI. Pagina originale: [Generatore robots.txt per i crawler AI](https://www.conseolente.it/generatore-robots-txt-crawler-ai/?via=md)

Ogni assistente AI ha i suoi crawler: alcuni raccolgono testi per addestrare i modelli, altri leggono le pagine per rispondere alle domande degli utenti e citare le fonti. Con questo generatore decidi, bot per bot, chi può leggere il tuo sito e ottieni le righe da incollare nel file robots.txt.






## Perché distinguere tra addestramento e ricerca






Bloccare tutti i bot AI sembra la scelta più prudente, ma ha un costo: se blocchi i crawler che servono alla ricerca, le risposte di ChatGPT, Claude o Perplexity non potranno citare le tue pagine. Per questo molti siti scelgono una via di mezzo: lasciano entrare i bot di ricerca e di richiesta dell’utente, che portano visibilità e link, e chiudono quelli che raccolgono testi per l’addestramento.








- **Addestramento**: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent, Bytespider.

- **Ricerca**: OAI-SearchBot, Claude-SearchBot, PerplexityBot.

- **Richiesta dell’utente**: ChatGPT-User, Claude-User, Perplexity-User, quando una persona chiede all’assistente di aprire una pagina.






## Come usare il generatore








1. Parti da uno dei tre profili: tutto aperto, ricerca sì e addestramento no, tutto chiuso.

2. Correggi i singoli bot se ti serve una regola diversa.

3. Aggiungi, se vuoi, l’indirizzo della sitemap.

4. Copia il testo generato e aggiungilo al robots.txt del sito, senza cancellare le regole che hai già per Googlebot e gli altri motori di ricerca.






## Cosa il robots.txt non può fare






Il robots.txt è un’indicazione che i crawler dichiarati rispettano, non un blocco tecnico: un bot che non si identifica può ignorarlo. Inoltre Google-Extended riguarda l’uso dei contenuti per Gemini e non toglie il sito dalla Ricerca Google né dalle AI Overview, che usano Googlebot. I nomi dei bot cambiano nel tempo: prima di pubblicare controlla sempre la documentazione ufficiale di ogni azienda.