Visibilità nella ricerca di ChatGPT
Inserisci l'indirizzo di una pagina: verifico se il crawler di ricerca di OpenAI può leggerla e cosa trova, secondo la documentazione ufficiale.
OpenAI usa crawler diversi per scopi diversi. Per comparire nella ricerca di ChatGPT conta OAI-SearchBot: se il robots.txt lo blocca, il sito non compare nelle risposte di ricerca. Lo strumento controlla una pagina e ti dice come la vedono i bot di OpenAI.
I tre crawler di OpenAI
- OAI-SearchBot: rende i siti visibili nella ricerca di ChatGPT. Va lasciato entrare.
- GPTBot: raccoglie contenuti per addestrare i modelli. Puoi bloccarlo senza effetti sulla ricerca.
- ChatGPT-User: apre una pagina quando un utente lo chiede; non decide la presenza nella ricerca.
Oltre il robots.txt
Firewall e CDN possono bloccare il crawler anche se il robots.txt lo consente: OpenAI pubblica l’elenco degli indirizzi IP da lasciar passare. Dopo una modifica al robots.txt servono circa 24 ore perché la ricerca si adegui. Ricorda infine che il file vale per un solo sottodominio.
