Guida a Googlebot
Che cos’è Googlebot e come funziona il suo algoritmo di scansione?
Googlebot è il software web crawler utilizzato da Google per scoprire, scansionare e indicizzare le pagine web all’interno del proprio database, simulando il comportamento reale degli utenti.
Capire come scansiona Googlebot serve a poco se poi non si interviene sulla salute tecnica del sito web, tra velocità di caricamento e struttura dei link.
Come funziona il rendering e quali sono i limiti di scansione dei file?
Il processo di scansione analizza i contenuti della pagina web applicando limiti di interruzione rigorosi sul peso dei file elaborati per ottimizzare le risorse computazionali del motore di ricerca.
- Limiti di Dimensione HTML: Il crawler elabora esclusivamente i primi 2 MB di un file supportato (HTML) e interrompe il recupero dei dati successivi.
- Scansione Documenti: Per i file PDF, il limite di estrazione del testo è esteso ai primi 64 MB.
- Rendering Risorse Separate: Asset critici come CSS e JavaScript vengono recuperati e renderizzati separatamente, ognuno soggetto al proprio limite di dimensione non compressa.
- Fuso Orario del Crawler: Le richieste provenienti dagli indirizzi IP statunitensi operano seguendo il Fuso orario del Pacifico (PT).
Quali sono i tipi principali di Googlebot e come rispondono al robots.txt?
L’infrastruttura di Googlebot si divide in due tipologie principali per valutare separatamente l’esperienza utente su dispositivi mobili e computer desktop.
- Googlebot Smartphone: È il crawler primario (responsabile della maggior parte delle richieste) utilizzato per il Mobile-First Indexing.
- Googlebot Desktop: È il crawler secondario, che interviene per una frazione minore di richieste per analizzare la resa su schermi grandi.
- Gestione Unificata dei Token: Entrambi i crawler condividono lo stesso token User-Agent per le regole del file robots.txt, rendendo tecnicamente impossibile bloccare un dispositivo e consentire l’altro.
Come controllare l’indicizzazione e verificare l’autenticità di Googlebot?
La gestione avanzata di Googlebot richiede la distinzione tecnica tra il blocco della scansione (crawling) e il blocco dell’indicizzazione (indexing), unita a sistemi di validazione di sicurezza.
- Scansione vs Indicizzazione: Bloccare un URL tramite robots.txt ferma il crawling e salva risorse del server, ma non impedisce alla pagina di apparire in SERP se riceve backlink o era stata indicizzata prima del blocco. Per bloccare l’indicizzazione è utile usare il meta tag “noindex”.
Prevenzione dello Spoofing: Poiché l’intestazione HTTP User-Agent può essere facilmente falsificata da bot malevoli (spoofing), l’autenticità delle richieste deve essere validata tramite ricerca DNS inversa (Reverse DNS) o controllo degli intervalli IP ufficiali di Google.
