YAGO: definizione del knowledge graph semantico open source

Cosa serve sapere su YAGO?

• Sviluppo: nasce dal lavoro di Fabian Suchanek con il Max Planck Institute for Informatics e Télécom Paris.
• Fonti dei dati: Wikipedia, WordNet e GeoNames nelle prime versioni, Wikidata e Schema.org da YAGO 4 in poi.
• Dimensioni: le versioni più recenti contengono circa 50 milioni di entità e 2 miliardi di fatti, dato riferito a giugno 2020.
• Accuratezza: le versioni principali hanno una valutazione manuale confermata del 95%.
• Accesso: interfaccia web, endpoint SPARQL o download dei dataset in Turtle, TSV o Parquet.

Cos’è YAGO e chi lo sviluppa

YAGO nasce come progetto di ricerca accademico, non come prodotto commerciale. Il nome sta per Yet Another Great Ontology e descrive bene l’ambizione del progetto: costruire un’ontologia pulita a partire da fonti già esistenti, invece di raccogliere dati da zero. Il lavoro parte dal Max Planck Institute for Informatics di Saarbrücken e continua oggi a Télécom Paris, con Fabian Suchanek come ricercatore di riferimento fin dalla prima versione.

La struttura di base è quella tipica di ogni knowledge graph: ogni fatto è una tripla soggetto-predicato-oggetto, per esempio una città collegata al suo stato tramite la relazione “si trova in”. Chi vuole capire la logica generale di questo modello prima di entrare nei dettagli di YAGO può partire da come funziona un knowledge graph: YAGO ne è un’implementazione specifica, con regole di costruzione più rigide della media.

Tratto YAGO come un riferimento teorico utile a capire come un motore di ricerca può rappresentare le entità, non come uno strumento da integrare in un sito aziendale: resta un progetto di ricerca, pensato per chi fa information retrieval o intelligenza artificiale, non per chi gestisce un e-commerce.

Le fonti dati e le versioni di YAGO, da Wikipedia a Wikidata

YAGO 1, uscito nel 2008, conosce più di 2 milioni di entità e 20 milioni di fatti, estratti dalle categorie e dagli infobox di Wikipedia combinati con la gerarchia di classi di WordNet. YAGO 2 aggiunge GeoNames e introduce la dimensione temporale e spaziale dei fatti: da qui in poi molte relazioni portano con sé una data di inizio e una di fine, oltre a una posizione geografica.

YAGO 3 allarga la base a dieci edizioni Wikipedia in lingue diverse (tra cui italiano, francese, tedesco e arabo) e arriva a oltre 17 milioni di entità e più di 150 milioni di fatti, classificati in oltre 350.000 classi. Questa versione rimane disponibile anche in una revisione non ufficiale del 2022, aggiornata sui dati Wikipedia più recenti ma senza la valutazione manuale di accuratezza delle versioni principali.

Il cambio più importante arriva con YAGO 4: le entità non vengono più estratte da Wikipedia ma prese direttamente da Wikidata, mentre la tassonomia delle classi arriva da Schema.org. Questa combinazione rende i dati logicamente coerenti e adatti a un ragionamento automatico, cosa che le versioni precedenti non garantivano allo stesso livello. In un articolo pubblicato sul sito di Télécom Paris, datato giugno 2020, la versione 4 viene descritta con circa 50 milioni di entità e 2 miliardi di fatti; le versioni successive, 4.5 e 4.6, mantengono la stessa base ma includono anche le dichiarazioni di Wikidata che erano state escluse dal dataset principale.

Come sono organizzati i dati nella tassonomia di YAGO

Ogni entità in YAGO appartiene a una o più classi, e ogni classe (tranne la radice) è a sua volta sottoclasse di un’altra. Nella documentazione del progetto questa gerarchia è descritta su quattro livelli: alla radice ci sono rdfs:Resource e owl:Thing, sotto c’è la tassonomia di WordNet con i suoi synset numerati, poi le classi derivate dalle categorie Wikipedia (non tutte le categorie diventano classi), infine le singole istanze, cioè le entità vere e proprie.

Ogni fatto ha un identificativo calcolato dal suo soggetto, predicato e oggetto, e può portare informazioni aggiuntive su se stesso: nella guida tecnica del progetto viene fatto l’esempio di una persona realmente esistita, con una data di inizio e una di fine collegate al fatto che la descrive come tale. Questo meccanismo permette a YAGO di rispondere a “chi è” un’entità, ma anche a “quando” e “dove” un certo fatto su di essa è stato vero.

Accuratezza di YAGO e riconoscimenti scientifici

Nella documentazione ufficiale del progetto le versioni principali di YAGO (1 e 3) riportano un’accuratezza confermata del 95%, misurata con una valutazione manuale su un campione di fatti estratti dalle fonti. Ogni relazione porta inoltre un valore di confidenza, separato dal dato di accuratezza complessivo: è una distinzione che vale la pena tenere a mente, perché il secondo descrive la qualità del singolo fatto, il primo quella dell’intero dataset.

Sul piano del riconoscimento accademico, nel 2018 i tre co-autori originali di YAGO (Fabian Suchanek, Gjergji Kasneci e Gerhard Weikum) hanno ricevuto il Test of Time Award della conferenza The Web Conference e il Prominent Paper Award della rivista Artificial Intelligence. L’articolo scientifico che presenta YAGO 4 è stato pubblicato alla conferenza ESWC 2020, il principale appuntamento europeo sul web semantico.

Come accedere ai dati di YAGO

I dati di YAGO si consultano in tre modi, a seconda di cosa serve fare:

1. Esplorare le entità con l’interfaccia web del progetto, senza scrivere query.
2. Interrogare il grafo con l’endpoint SPARQL pubblico, utile per test rapidi su singole domande.
3. Scaricare i dataset completi in formato Turtle, TSV o Parquet, per caricarli in un triple store locale come Apache Jena o Blazegraph.

L’endpoint SPARQL ha un timeout di un minuto per query, pensato per tenere il servizio reattivo per tutti. Usandolo si accetta anche che le query vengano raccolte in forma anonima dal team che gestisce il servizio, con la possibilità di esercitare i diritti previsti dal GDPR contattando il team stesso: chi deve lanciare più interrogazioni, o preferisce non condividere nemmeno query anonime, fa prima a scaricare i dati e lavorarci in locale. Il codice sorgente che estrae i dati da Wikipedia e dalle altre fonti è pubblico, con licenza GNU General Public License.

YAGO a confronto con Wikidata e DBpedia

Chi incontra YAGO spesso lo confonde con Wikidata o con DBpedia, perché i tre progetti condividono buona parte delle fonti. La differenza sta nel metodo: Wikidata è costruita dalla community con modifiche continue, DBpedia estrae dati direttamente dalle infobox di Wikipedia tramite SPARQL, mentre YAGO applica controlli di coerenza aggiuntivi e una valutazione manuale dell’accuratezza, cosa che gli altri due non fanno allo stesso modo.

Se cerchi un grafo aggiornato di continuo dalla community

Guarda a Wikidata: la base di conoscenza collaborativa resta la più aggiornata perché cambia con ogni modifica degli editor, come spiego nella pagina su cos’è Wikidata e come funziona.

Se ti serve una tassonomia pulita per il ragionamento automatico

YAGO resta il riferimento: la sua struttura a classi coerenti è pensata apposta per questo, a differenza di grafi più grezzi.

Se vuoi dati grezzi estratti direttamente dalle infobox

DBpedia è il punto di partenza più diretto, perché lavora proprio su quel livello di estrazione, come racconto nella pagina dedicata a DBpedia e al suo funzionamento.

Perché conoscere YAGO è utile per chi lavora su entità e SEO

YAGO non entra mai nel lavoro quotidiano di chi gestisce un sito, ma il principio che applica (entità classificate, relazioni tipizzate, fatti verificabili) è lo stesso che sta dietro al Knowledge Graph di Google e ai knowledge panel che compaiono accanto ai risultati di ricerca quando un’entità viene riconosciuta come nodo verificato. Capire come un grafo accademico collega persone, luoghi e organizzazioni aiuta a capire perché Google tratta certe pagine come fonti su un’entità e altre no.

Uso progetti come YAGO come riferimento quando spiego ai clienti perché una strategia di contenuti basata sulle entità funziona meglio di una basata solo sulle parole chiave: se il sito parla in modo coerente di un’entità, con relazioni esplicite verso altre entità riconoscibili, lavora nella stessa direzione in cui un motore di ricerca organizza i dati. Questo è uno dei punti centrali della SEO moderna e, sempre di più, dell’ottimizzazione per i motori generativi: i sistemi che rispondono con un testo generato, invece di una lista di link, premiano i contenuti che dichiarano relazioni chiare tra entità, non quelli che le danno per scontate.

Versioni non ufficiali e altri dettagli da controllare prima di usare YAGO

Prima di scaricare un dataset di YAGO conviene controllare tre cose. La prima è la versione: YAGO 3.0.3, la revival del 2022, non è stata valutata manualmente come le versioni ufficiali, quindi la sua accuratezza non è garantita allo stesso livello del 95% citato per YAGO 1 e 3. La seconda è la licenza, che cambia da versione a versione: YAGO 1 usa la GNU Free Documentation License, le versioni successive la Creative Commons Attribution 3.0. La terza riguarda il formato: il formato Turtle, pur essendo lo standard W3C, non contiene i meta-fatti sulla provenienza dell’estrazione, presenti invece nel formato nativo TSV.

Un errore frequente, per chi arriva da un contesto diverso dalla ricerca accademica, è aspettarsi che YAGO venga aggiornato con la stessa frequenza di Wikidata: non è così, le versioni principali escono a distanza di anni, mentre Wikidata cambia ogni giorno con i contributi della community.

Domande frequenti su YAGO

Cos’è YAGO?

YAGO è un knowledge graph semantico open source che organizza entità reali e le relazioni tra loro in una tassonomia di classi, sviluppato dal Max Planck Institute for Informatics e da Télécom Paris a partire dal lavoro di Fabian Suchanek.

Chi ha sviluppato YAGO?

Lo hanno sviluppato ricercatori del Max Planck Institute for Informatics di Saarbrücken insieme a Télécom Paris, con Fabian Suchanek come ideatore del progetto fin dalla prima versione del 2008.

Quali fonti usa YAGO per i suoi dati?

Le prime versioni combinano Wikipedia, WordNet e GeoNames; da YAGO 4 in poi le entità arrivano da Wikidata e la tassonomia delle classi da Schema.org, una combinazione che rende i dati più coerenti dal punto di vista logico.

Quanto è accurato YAGO?

Le versioni principali hanno un’accuratezza confermata del 95%, misurata con una valutazione manuale su un campione di fatti estratti; la revival non ufficiale del 2022 di YAGO 3 non ha ricevuto la stessa valutazione.

Come si accede ai dati di YAGO?

Si può esplorare il grafo dall’interfaccia web del progetto, interrogarlo con l’endpoint SPARQL pubblico oppure scaricare i dataset completi in formato Turtle, TSV o Parquet per usarli in locale.

In cosa differisce YAGO da Wikidata?

Wikidata viene aggiornata di continuo dalla community senza una valutazione centralizzata di accuratezza; YAGO applica controlli di coerenza aggiuntivi e una valutazione manuale, a costo di versioni che escono molto più di rado.