Freebase: definizione nel Knowledge Graph di Google

Freebase in sintesi

• Natura: una base di conoscenza collaborativa, sviluppata dall’azienda Metaweb Technologies e aperta al pubblico dal marzo 2007.
• Struttura: un grafo di nodi (gli “argomenti”) collegati da archi, con tipi e proprietà che descrivono ogni entità da più punti di vista.
• Scala: risulta numeri diversi a seconda del periodo, tra decine di milioni di argomenti e centinaia di milioni o miliardi di fatti.
• Rapporto con Google: Google ha acquisito Metaweb nel luglio 2010 e ha usato i dati di Freebase come base iniziale del proprio Knowledge Graph.
• Chiusura: annunciata il 16 dicembre 2014, diventata effettiva il 2 maggio 2016, con i dati trasferiti su Wikidata.
• Eredità tecnica: gli identificatori MID assegnati agli argomenti di Freebase sono ancora alla base del modo in cui il Knowledge Graph riconosce le entità.

Che cos’era Freebase

Freebase era un database organizzato come grafo: invece di tabelle con righe e colonne, usava nodi collegati da archi. Ogni nodo rappresentava un “argomento” (una persona, un luogo, un film, un’azienda) e ogni arco una relazione verificabile tra due argomenti. Questa scelta tecnica permetteva di collegare entità molto diverse tra loro senza dover ridisegnare lo schema del database a ogni nuovo tipo di dato.

I dati non li inseriva solo Metaweb: li aggiungeva anche una community di utenti, in modo simile a Wikipedia, integrandoli con fonti pubbliche strutturate come Wikipedia stessa, NNDB e MusicBrainz. I contenuti erano distribuiti con una licenza Creative Commons Attribution, e un’API aperta permetteva a chiunque di interrogare o scaricare l’intero dataset.

Come funzionava la struttura a grafo

Ogni argomento poteva avere più tipi: lo stesso nome poteva comparire come cantautore, compositore e autore di libri, ciascuno con un proprio gruppo di proprietà. I tipi erano a loro volta raggruppati in domini, con un identificatore simile a un percorso di file (per esempio /music per il dominio musicale). Per i dati che cambiano nel tempo, come la popolazione di una città in un certo anno, Freebase usava i tipi di valore composto, le CVT: nodi senza un nome visibile, pensati solo per tenere insieme più campi collegati (il numero e la data, in quell’esempio). Questa architettura è quello che distingue Freebase da un archivio documentale: non elenca fatti isolati, li mette in relazione.

MID, il collegamento con il Knowledge Graph di oggi

Ogni argomento riceveva un MID, un codice del tipo /m/… assegnato automaticamente e pensato per restare stabile anche quando due argomenti venivano uniti o divisi. Questo identificatore è il punto in cui Freebase tocca direttamente il lavoro quotidiano di chi fa SEO: i MID di Google, quelli che oggi identificano le entità riconosciute nei risultati di ricerca, derivano proprio da questa struttura. Il modo in cui quei dati sono confluiti nel sistema che mostra i pannelli informativi di Google e ne definisce le entità è trattato nella pagina su come funziona un knowledge graph.

Quanti dati conteneva Freebase

Chi cerca un numero unico resta deluso: le fonti disponibili danno cifre diverse perché si riferiscono a momenti diversi della vita del progetto. In un paper accademico del 2008 il dataset viene descritto con oltre 125 milioni di tuple, più di 4.000 tipi e più di 7.000 proprietà. Nella documentazione per sviluppatori di Google, riferita a una versione successiva, gli argomenti censiti superano i 39 milioni. In una voce enciclopedica aggiornata a gennaio 2014 i topic sono circa 44 milioni, con 2,4 miliardi di fatti collegati. In un glossario tecnico che riporta una versione non datata del dataset compaiono invece circa 20 milioni di argomenti, 10.000 relazioni e 637 milioni di fatti.

Le differenze dipendono anche dal tipo di unità misurata: argomenti, tipi, proprietà, relazioni e fatti non sono la stessa cosa, e confrontare direttamente i numeri di fonti diverse può essere fuorviante.

Come si colloca Freebase tra le altre basi di conoscenza

Freebase seguiva un approccio che in letteratura viene chiamato folksonomico: chiunque poteva proporre nuove categorie, in modo simile a un sistema di tag, mentre il semantic web del W3C parte di solito da ontologie già definite a monte. Questa libertà ha reso il progetto veloce da popolare, ma ha anche richiesto un passaggio di validazione: i tipi creati dagli utenti entravano nello schema pubblico solo dopo l’approvazione di un dipendente Metaweb, e nessuno poteva modificare i tipi creati da un altro, perché le applicazioni esterne dipendevano da quello schema per funzionare.

Tra i progetti di basi di conoscenza aperte, Freebase viene citato oggi insieme a DBpedia, che estrae dati strutturati da Wikipedia con query in SPARQL, e a YAGO, il knowledge graph semantico open source che organizza le entità in una tassonomia di classi. Questi progetti nascono con un obiettivo simile, rendere interrogabile la conoscenza del web, ma usano architetture di dati diverse da quella a grafo non gerarchico di Freebase. Il successore diretto, quello che ha ricevuto fisicamente i dati di Freebase alla chiusura, resta Wikidata: cos’è e come funziona.

Perché Freebase ha chiuso e cosa resta oggi

Google ha annunciato la chiusura di Freebase il 16 dicembre 2014, dichiarando l’intenzione di spegnere sito e API entro sei mesi e di aiutare la migrazione dei dati verso un progetto aperto e indipendente. La chiusura effettiva è arrivata più tardi, il 2 maggio 2016: nel mezzo, Google ha reso il sito di sola lettura e ha lavorato con la community Wikimedia per spostare l’intero dataset su Wikidata, così che i dati collaborativi continuassero a poter essere modificati pubblicamente da chiunque. I dettagli di come funziona oggi quel progetto sono nella pagina dedicata a com’è organizzata la base di conoscenza di Wikidata.

Il 16 dicembre 2015 Google ha annunciato la Knowledge Graph API come sostituto ufficiale della Freebase API. Il codice di Graphd, il triplestore proprietario su cui girava Freebase, è stato reso open source l’8 settembre 2018; quello di MQL, il linguaggio di interrogazione, il 4 agosto 2020: entrambi sono disponibili su GitHub sotto licenza Apache 2.0.

Se ti servono ancora dati in stile Freebase

1. Se cerchi i contenuti originali del dataset, cercali dentro Wikidata: sono stati migrati lì prima dello spegnimento del servizio.
2. Se ti serve interrogare le entità che Google riconosce oggi nei risultati di ricerca, usa la Knowledge Graph API, il sistema che ha preso il posto della Freebase API.
3. Se vuoi studiare il formato tecnico originale, grafo e linguaggio di query compresi, il codice di Graphd e di MQL è pubblico su GitHub dal 2018 e dal 2020.

Errori comuni su cosa era Freebase

Un errore frequente, soprattutto partendo da articoli datati, è trattare Freebase e Knowledge Graph come sinonimi. Freebase era un dataset specifico, chiuso dal 2016; il Knowledge Graph è il sistema di Google tuttora attivo, che oggi si appoggia su fonti diverse e più ampie. Un secondo equivoco riguarda Wikidata: è un progetto distinto, con un proprio modello di governance comunitaria, che ha semplicemente ricevuto i dati migrati da Freebase.

Un terzo punto, meno citato nelle fonti, riguarda il linguaggio di interrogazione: Freebase usava MQL, un linguaggio proprietario orientato agli oggetti; Wikidata usa SPARQL, lo standard per i dati collegati del semantic web. Chi riusa vecchio codice o vecchie query pensate per Freebase deve riscriverle da zero per funzionare su un endpoint SPARQL.

Domande frequenti su Freebase

Cos’è Freebase in parole semplici

Freebase era un database a grafo collaborativo che raccoglieva milioni di entità del mondo reale, collegate tra loro da relazioni verificabili, consultabile tramite un’API pubblica e un linguaggio di query proprio chiamato MQL.

Quando ha chiuso Freebase

Freebase ha chiuso definitivamente il 2 maggio 2016, dopo che Google ne aveva annunciato lo spegnimento il 16 dicembre 2014 e aveva reso il sito di sola lettura nei mesi successivi.

Perché Google ha chiuso Freebase

Google ha preferito concentrare lo sviluppo sul proprio Knowledge Graph interno e migrare il dataset collaborativo verso Wikidata, un progetto aperto gestito dalla community Wikimedia, invece di mantenere due infrastrutture simili e sovrapposte.

Che fine hanno fatto i dati di Freebase

I dati di Freebase sono stati trasferiti su Wikidata prima della chiusura del servizio, mentre la funzione di interrogare le entità riconosciute da Google oggi è svolta dalla Knowledge Graph API.

Cos’è un MID di Freebase

Un MID è un identificatore macchina, nel formato /m/ seguito da un codice, assegnato a ogni argomento di Freebase in modo stabile: la stessa logica identifica ancora oggi le entità nel Knowledge Graph di Google.

Che differenza c’è tra Freebase e il Knowledge Graph

Freebase era un dataset specifico, dismesso nel 2016; il Knowledge Graph è il sistema tuttora attivo con cui Google mostra pannelli informativi nei risultati di ricerca, oggi alimentato da fonti più ampie di quelle originarie.

Quanti dati aveva Freebase

Le fonti disponibili riportano numeri diversi a seconda del periodo: tra 20 e 44 milioni di argomenti e tra 125 milioni di tuple e 2,4 miliardi di fatti, a seconda della versione del dataset descritta.