Meta robots: cos’è e come usarlo per la SEO
Chi si occupa di SEO deve conoscere il tag meta robots: è un comando necessario a dare comandi ai motori di ricerca che devono indicizzare e posizionare una pagina di un sito web.
Il meta robots è solo una delle leve che incidono su scansione e indicizzazione: per tenere sotto controllo la salute tecnica del sito web servono anche sitemap, canonical e tempi di caricamento.
Scopriamo insieme le caratteristiche di questo tag e come usarlo opportunamente per evitare di causare problemi.
Meta tag robots: cos’è e perché si usa?
Il meta tag robots è una stringa di codice che, se inserita in una pagina HTML, comunica ai crawler di un motore di ricerca delle indicazioni circa la gestione dei contenuti della pagina.
Infatti, utilizzando questo tag ufficiale di Google, si può suggerire al software come deve comportarsi nella lettura di una pagina e se può essere indicizzata.
Usando il meta tag robots si evita che il motore di ricerca decida liberamente cosa fare di una pagina web. È uno strumento fondamentale, ad esempio, quando non si vuole che una pagina web venga indicizzata, oppure per gestire la meta description o i link della pagina.
Non confondere, però, il meta tag robots con il robots.txt che è un file di testo che apre o chiude l’accesso ad una pagina web ai crawler.
Meta name robots e content: sintassi e funzioni
Bisogna usare una precisa sintassi composta da “name” e “content” per la costruzione di un meta tag robots e deve essere inserito nell’head della pagina HTML.
Questo è un esempio che si può trovare nella sezione developers di Google:
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
Grazie all’utilizzo di questo comando, abbiamo comunicato ai crawler dei motori di ricerca di non inserire la pagina web nella SERP.
I meta robots possono essere utilizzati per comunicare con i motori di ricerca in generale ed in particolare con Google.
Infatti, se vogliamo che Google non indicizzi una particolare pagina dobbiamo citare esplicitamente il Googlebot nella stringa di codice.
<!DOCTYPE html>
<html><head>
<meta name=”googlebot” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
Possiamo usare la stessa tecnica per dare altri tipi di indicazioni a specifici robots. Un altro esempio presente nella pagina “specifiche relative al meta tag robots” di Google si possono dare i seguenti comandi:
<meta name=”googlebot-news” content=”noindex” />
Questa stringa impedisce al solo crawler di Google di indicizzare la pagina. Se, invece, inseriamo name=“robots” comunichiamo il comando a tutti i crawler.
I crawler possono ricevere i comandi dai meta tag robots solo se non abbiamo bloccato le pagine in cui sono inseriti con il file robots.txt; in tal caso la pagina non può analizzare la pagina e quindi non può leggere nemmeno il “noindex”.
X robots tag: cos’è?
Gli x robot tag impartiscono gli stessi comandi dei meta robots ai file con contenuti non HTML, come immagini o documenti PDF. Sull’argomento Google si esprime così:
“X-Robots-Tag può essere utilizzato come elemento della risposta dell’intestazione HTTP di un URL specifico. Qualsiasi istruzione utilizzabile in un meta tag robots può anche essere specificata come un X-Robots-Tag.”
Ecco un esempio di x robots tag – nonindex:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Si possono fornire più istruzioni all’interno di una risposta HTTP, e prima di dare istruzioni, si può indicare per quale user agent le stiamo fornendo. Un altro esempio Google:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)
Principali comandi robots HTML
Le pagine web sono di default index e follow (indicizzabili e seguibili). Ma esistono alcuni comandi che possiamo dare ai crawler per fare in modo che si comportino come desideriamo. Vediamoli nel dettaglio:
- Meta noindex. Con questo comando comunichiamo al motore di ricerca di non indicizzare la pagina web e quindi di non mostrarla in SERP come risposta alle query degli utenti.
- Meta nofollow. Questo comando impedisce al motore di ricerca di seguire i link presenti nella pagina e non trasmettendo il PageRank, influenza il ranking delle pagine linkate.
- Meta none. Google lo definisce “equivalente a noindex, no follow”. Se desideri che il motore di riceerca non indicizzi la pagina e non ne segua i link, puoi usare il comando “none”.
- Meta noarchive. Questo comando impedisce la copia della pagina nella cache, evitando che venga mostrata agli utenti che fanno una ricerca sui motori di ricerca.
- Meta noimageindex. Non consente di indicizzare le immagini della pagina.
- Meta nosnippet. Questo meta tag robots funziona solo con Google e impedisce di mostrare in SERP il testo dello snippet o l’anteprima di un video. Tuttavia non blocca la visualizzazione di una miniatura statica di un’immagine se Google reputa che possa migliorare la UX.
Capito perché la SEO non può fare a meno dei meta robots?
I meta tag robots sono indispensabili per guidare il motore di ricerca nella scansione di un sito web. È molto utile perché indirizzando in maniera precisa tutte le operazioni da compiere, il motore di ricerca non spreca risorse in attività inutili. Utilizzando i meta robots in maniera puntuale è possibile risolvere dei problemi tecnici relativi al posizionamento del sito e agevolare la gestione dei contenuti da mostrare agli utenti
