Tester robots.txt
Leggi il robots.txt di un sito oppure incollane uno da provare, poi scrivi gli URL da controllare.
Una riga sbagliata nel robots.txt può bloccare un’intera sezione del sito. Il tester applica le regole di interpretazione documentate da Google e ti mostra, per ogni URL e ogni bot, se l’accesso è permesso e quale riga lo decide.
Come funziona
- Leggi il robots.txt di un sito oppure incolla una versione da provare prima di pubblicarla.
- Scrivi gli URL o i percorsi da controllare, uno per riga.
- Scegli i bot: quelli dei motori di ricerca, delle AI o uno scritto da te.
Le regole che applica
Ogni bot segue solo il gruppo che lo nomina, oppure il gruppo con l’asterisco. Tra le regole vince quella con il percorso più lungo; a parità vince Allow. Gli asterischi e il simbolo del dollaro funzionano come in Google. Il tester segnala anche le righe che Google non riconosce.
