Quali bot AI blocca un sito
Inserisci l'indirizzo di un sito (o di una pagina): leggo il robots.txt e ti dico, bot per bot, chi può entrare e chi è bloccato.
Molti siti bloccano i crawler delle AI senza saperlo, con regole copiate da altri o aggiunte da un plugin. Lo strumento legge il robots.txt e applica le stesse regole di interpretazione documentate da Google, bot per bot, mostrando la regola che decide.
Come si legge il risultato
- Ogni bot segue il gruppo che lo nomina; se non esiste, segue il gruppo «*».
- Vince la regola più specifica, cioè la più lunga; a parità vince Allow.
- Senza robots.txt tutti i bot possono entrare. Se il file risponde con un errore del server, Google considera il sito bloccato finché il problema dura.
Addestramento o ricerca
Bloccare i bot che raccolgono contenuti per l’addestramento, come GPTBot o ClaudeBot, non toglie il sito dalle risposte. Bloccare quelli di ricerca, come OAI-SearchBot, Claude-SearchBot o PerplexityBot, sì. Se vuoi cambiare le regole puoi usare il nostro generatore robots.txt per crawler AI.
