---
title: "Transformer: definizione nel machine learning"
url: https://www.conseolente.it/transformer-definizione-machine-learning/
aggiornato: 2026-11-03
descrizione: "Scopri cos'è un Transformer nel machine learning: l'architettura di rete neurale basata su attenzione che ha rivoluzionato i modelli linguistici come GPT e…"
topic: "Transformer"
---

# Transformer: definizione nel machine learning

> Versione per assistenti AI. Pagina originale: [Transformer: definizione nel machine learning](https://www.conseolente.it/transformer-definizione-machine-learning/?via=md)

Il Transformer è un’architettura di rete neurale che elabora intere sequenze di testo, audio o immagini in parallelo, assegnando a ogni elemento un peso di rilevanza rispetto a tutti gli altri attraverso il meccanismo di attenzione. È stata descritta nel 2017 nel paper «Attention Is All You Need» di Google Brain e ha sostituito le reti ricorrenti come base dei modelli linguistici più usati, da GPT a BERT.

## Cosa ricordare sui Transformer?

- **Origine:** architettura presentata nel 2017 nel paper “Attention Is All You Need” di Vaswani e colleghi, Google Brain.

- **Meccanismo:** la self-attention confronta ogni elemento della sequenza con tutti gli altri e assegna un peso di rilevanza.

- **Differenza dai modelli precedenti:** elabora i dati in parallelo, a differenza di RNN e LSTM che li leggono in sequenza.

- **Applicazioni:** traduzione, generazione di testo, visione artificiale (Vision Transformer) e analisi audio.

- **Limite principale:** l’addestramento richiede grandi quantità di dati e potenza di calcolo, soprattutto su sequenze lunghe.

## Che cos’è un Transformer e da dove nasce

![Schema a blocchi che mostra l'evoluzione da reti ricorrenti a un'architettura basata su attenzione](https://www.conseolente.it/wp-content/uploads/2026/11/transformer-definizione-machine-learning-1-1024x683.webp)

Il passaggio da un’elaborazione sequenziale a una parallela è il cambiamento che ha reso possibile il Transformer.

Il Transformer è un modello di deep learning descritto per la prima volta nel 2017, nel paper “Attention Is All You Need” firmato da un gruppo di ricercatori di Google Brain. Prima di quella data i modelli per il linguaggio si basavano su reti ricorrenti (RNN) e sulle loro varianti con memoria, le LSTM: leggevano una parola alla volta, in ordine, e per questo faticavano a tenere insieme informazioni distanti in una frase lunga. Il problema ha un nome tecnico, vanishing gradient: più la sequenza si allunga, più il segnale di apprendimento si indebolisce verso l’inizio.

Il Transformer elimina la lettura in ordine. Ogni parola, o più precisamente ogni token, viene confrontata con tutte le altre nello stesso passaggio, grazie al meccanismo di attenzione descritto nella sezione successiva. Questo non è un dettaglio tecnico riservato a chi programma modelli: è il motivo per cui oggi uno strumento di intelligenza artificiale generativa può tenere il filo di un testo lungo diverse pagine. Il modo in cui l’AI coglie il contesto è diverso dal nostro: lo calcola confrontando ogni parte del testo con ogni altra.

L’architettura originale è composta da due blocchi, un encoder e un decoder. L’encoder legge l’input e lo trasforma in una rappresentazione numerica compressa, lo spazio latente; il decoder usa quella rappresentazione per generare l’output, parola dopo parola. Molti dei modelli che si sentono nominare oggi usano solo una delle due metà: GPT, per esempio, lavora soprattutto con il decoder, mentre BERT usa l’encoder. È un’informazione utile se si valutano strumenti di intelligenza artificiale per i propri contenuti, perché dalla scelta encoder-decoder dipende se un modello è più adatto a generare testo o a classificarlo.

## Come funziona il meccanismo di attenzione

![Diagramma di collegamenti ponderati tra le parole di una frase, con linee più spesse sulle relazioni più rilevanti](https://www.conseolente.it/wp-content/uploads/2026/11/transformer-definizione-machine-learning-2-1024x683.webp)

Ogni parola riceve un peso diverso in base alla sua rilevanza per le altre, calcolato in parallelo per tutta la frase.

L’attenzione, o self-attention, permette al modello di stabilire quanto ogni elemento di una sequenza è rilevante per interpretare un altro elemento della stessa sequenza. Per farlo, ogni token viene proiettato in tre rappresentazioni: una query (cosa sto cercando), una key (chi sono io) e un value (quale informazione porto). Il modello confronta la query di un token con le key di tutti gli altri, ottiene un punteggio di somiglianza e lo trasforma in un peso tramite la funzione softmax; infine combina i value pesati in base a questi punteggi. Il risultato è una rappresentazione del token che tiene conto del contesto dell’intera frase, non solo delle parole immediatamente vicine.

Il Transformer non applica questo calcolo una sola volta: lo ripete in parallelo con più “teste” di attenzione, la multi-head attention. Ogni testa può specializzarsi su un tipo diverso di relazione, per esempio quella grammaticale tra soggetto e verbo oppure quella semantica tra un pronome e il nome a cui si riferisce; i risultati delle diverse teste vengono poi concatenati e ricombinati. Questa è la differenza specifica che distingue il Transformer da un’architettura genericamente neurale: non elabora la frase in ordine, la guarda tutta insieme e pesa ogni relazione.

La parallelizzazione che ne deriva ha un effetto pratico immediato: calcolando tutte le relazioni in un solo passaggio, il modello sfrutta bene le GPU, che sono progettate per eseguire molte operazioni contemporaneamente. Una rete ricorrente, invece, è vincolata a processare un token dopo l’altro, e questo limita quanto l’addestramento può essere velocizzato aggiungendo più hardware. È il motivo tecnico, non commerciale, per cui i modelli basati su Transformer sono cresciuti così in fretta negli ultimi anni: più hardware significa addestramento più rapido, cosa che con le reti ricorrenti non valeva allo stesso modo.

## Cosa fa un Transformer quando genera un testo

Un Transformer trasforma un input, per esempio una frase scritta da un utente, in una rappresentazione numerica e usa quella rappresentazione per prevedere, un token alla volta, quale sia il proseguimento più probabile. Questo vale per i modelli linguistici che generano testo (i cosiddetti modelli generativi), ma lo stesso principio di base regge anche compiti diversi: tradurre un testo da una lingua all’altra, riassumerlo, rispondere a una domanda su un documento, classificarne il tono.

Chi gestisce contenuti per un sito dovrebbe tenere a mente una cosa semplice: un modello basato su Transformer non “legge” il testo come farebbe una persona, lo scompone in token e calcola relazioni statistiche tra loro. Per questo risponde meglio a prompt con un contesto chiaro e strutturato, e per lo stesso motivo gli strumenti di [ottimizzazione per i motori generativi](https://www.conseolente.it/consulente/geo/) lavorano sulla chiarezza strutturale dei contenuti, non sulla ripetizione di parole chiave: il modello pesa le relazioni tra concetti, non la frequenza dei termini.

I modelli linguistici più noti sono varianti di questa architettura: alcuni, come i modelli della famiglia GPT, usano principalmente il decoder e sono ottimizzati per generare testo in sequenza; altri, come BERT, usano l’encoder e sono più adatti a capire un testo esistente che a produrne uno nuovo. Anche [i modelli linguistici Claude](https://www.conseolente.it/assistente-intelligenza-artificiale-anthropic-cos-e-come-funziona/) si basano su questa stessa famiglia di architetture, pur con scelte di addestramento diverse. Sapere questo aiuta a capire perché due strumenti di intelligenza artificiale, pur sembrando simili all’uso, danno risultati diversi su compiti di generazione o di classificazione: dipende da quale metà dell’architettura originale è stata privilegiata in fase di progettazione.

## Il Transformer non si usa solo per il testo

L’architettura nata per il linguaggio è stata adattata ad altri tipi di dati. Il Vision Transformer, noto come ViT, divide un’immagine in piccoli riquadri e li tratta come se fossero i token di una frase, applicando lo stesso meccanismo di attenzione per individuare le relazioni tra le parti dell’immagine. Lo stesso principio è stato esteso all’audio e alle serie temporali, dove l’input viene suddiviso in segmenti o rappresentazioni vettoriali prima di passare per l’attenzione.

Per chi gestisce un sito o un e-commerce questo spiega perché oggi lo stesso tipo di modello sta dietro a strumenti molto diversi tra loro: un generatore di testo, un sistema di riconoscimento immagini per un catalogo prodotti, un assistente vocale. È un’architettura generale, e la sua applicazione cambia in base a come viene addestrata, non in base a una versione diversa del modello.

## Transformer, RNN e LSTM a confronto

| Criterio | RNN | LSTM | Transformer |
| --- | --- | --- | --- |
| Ordine di lettura | Sequenziale, un token alla volta | Sequenziale, con memoria interna | Parallelo, tutta la sequenza insieme |
| Dipendenze lunghe | Si perdono su frasi lunghe | Gestite meglio, ma con limiti | Gestite senza perdita legata alla distanza |
| Uso della GPU | Limitato dalla sequenzialità | Limitato dalla sequenzialità | Sfruttato in modo efficiente |
| Dati richiesti per l’addestramento | Moderati | Moderati | Alti |
| Esempio d’uso tipico | Previsione di caratteri, testi brevi | Traduzione automatica, analisi del sentiment | Chatbot, generazione di testo, modelli come GPT e BERT |

La riga che conta di più, per chi deve scegliere uno strumento e non costruire un modello da zero, è l’ultima: oggi quasi ogni prodotto di intelligenza artificiale generativa rivolto alle aziende si basa su un Transformer, non su una rete ricorrente. Questo non vuol dire che le RNN siano sparite: restano in uso in contesti con sequenze brevi e risorse di calcolo limitate, per esempio in alcuni dispositivi embedded.

## Perché un Transformer di grandi dimensioni costa di più da addestrare

Il meccanismo di attenzione confronta ogni elemento della sequenza con tutti gli altri: più la sequenza è lunga, più calcolo serve. Il fenomeno è descritto come una scaling law: le prestazioni di un Transformer aumentano in modo prevedibile man mano che crescono i dati, la potenza di calcolo e la dimensione del modello. È un’osservazione empirica, non una legge fisica, ma spiega perché i modelli più recenti siano anche i più costosi da addestrare.

Per chi lavora con gli strumenti già addestrati, piuttosto che costruirli, la libreria open source “transformers” di Hugging Face è diventata lo standard per usare modelli pre-addestrati su compiti di linguaggio, visione e audio senza dover ripartire dal paper originale. Non serve conoscerla per usare un prodotto di intelligenza artificiale in azienda, ma è utile saperla nominare quando si parla con uno sviluppatore di una possibile integrazione.

Chi si chiede quali siano i tipi di intelligenza artificiale generativa, o cosa significhi esattamente “generativo” applicato a un modello, trova una risposta più ampia nella [panoramica sull’intelligenza artificiale](https://www.conseolente.it/consulente/intelligenza-artificiale/): qui basti dire che un modello si definisce generativo quando produce un nuovo contenuto, non quando si limita a classificarne uno esistente, e che il Transformer è l’architettura che rende possibile la maggior parte dei modelli generativi attuali.

## Quando conviene sapere se uno strumento usa un Transformer

Se devi scegliere uno strumento di intelligenza artificiale per generare contenuti o rispondere ai clienti, sapere che si basa su un Transformer non cambia la decisione in sé, ma cambia cosa aspettarti: un testo coerente su paragrafi lunghi, una certa sensibilità al modo in cui scrivi il prompt, un comportamento che dipende dai dati di addestramento più che da regole fisse.

Un controllo utile in tre passaggi per valutare un nuovo strumento basato su intelligenza artificiale è il seguente:

1. Verifico se lo strumento dichiara su quale modello si basa, cercando la parola “Transformer”, “GPT”, “BERT” o il nome del fornitore nella documentazione tecnica.

2. Controllo se il modello è generativo o di classificazione: se deve scrivere testo nuovo serve un modello orientato alla generazione, se deve smistare richieste basta un modello più leggero.

3. Valuto quanto testo deve gestire in un solo passaggio, perché i costi di calcolo crescono con la lunghezza della sequenza da elaborare, non solo con il numero di richieste.

Se la risposta al primo punto manca del tutto, non è detto che lo strumento non usi un Transformer: molti fornitori lo danno per scontato e lo scrivono solo nella documentazione per sviluppatori, non nella pagina commerciale.

## Errori frequenti quando si parla di Transformer

L’errore più comune è pensare che “Transformer” sia il nome di un prodotto invece che di un’architettura: GPT, BERT, Claude e molti altri modelli applicano la stessa architettura, con scelte di addestramento e di struttura differenti. Confondere l’architettura con il prodotto fa credere che esista “il” Transformer, mentre ne esistono centinaia di varianti addestrate su dati diversi.

Un secondo errore riguarda il nome stesso: fuori dal campo dell’intelligenza artificiale, “transformer” indica anche il trasformatore elettrico, la macchina che varia tensione e corrente in un circuito, e il franchise cinematografico Hasbro con Optimus Prime e Megatron. Sono tre significati distinti dello stesso termine, e un motore di ricerca può restituirli insieme se la query non specifica il contesto.

Un terzo errore, più tecnico, è pensare che “parallelo” significhi “più veloce in ogni caso”: il Transformer è più efficiente nell’addestramento grazie all’uso delle GPU, ma durante la generazione del testo produce comunque un token alla volta, perché ogni nuovo token dipende da quelli già generati.

## Domande frequenti sul Transformer

### Che cos’è un Transformer?

Un Transformer è un’architettura di rete neurale che elabora un’intera sequenza di dati in parallelo, usando il meccanismo di attenzione per pesare la rilevanza di ogni elemento rispetto a tutti gli altri, invece di leggerla un elemento alla volta come facevano le reti precedenti.

### Cosa fa un Transformer?

Trasforma un input in una rappresentazione numerica e la usa per generare un output coerente, un token alla volta: un testo tradotto, un riassunto, una risposta a una domanda o, nei modelli adattati, un’immagine analizzata o un segnale audio interpretato.

### In cosa un Transformer è diverso da una RNN o da una LSTM?

Una RNN o una LSTM leggono la sequenza in ordine e perdono progressivamente le informazioni più lontane; il Transformer confronta ogni elemento con tutti gli altri nello stesso passaggio, gestisce meglio le dipendenze lunghe e sfrutta in modo più efficiente il calcolo parallelo delle GPU.

### Cos’è la self-attention?

La self-attention è il calcolo che assegna a ogni elemento di una sequenza un peso di rilevanza rispetto a tutti gli altri elementi, usando tre rappresentazioni per token chiamate query, key e value; il risultato è una versione di ogni token che tiene conto del contesto dell’intera frase.

### Il Transformer si usa solo per il testo?

No, l’architettura è stata estesa ad altri domini: il Vision Transformer applica lo stesso meccanismo alle immagini, suddivise in riquadri, e varianti simili si usano per l’audio e per le serie temporali, con la stessa logica di attenzione.

### Il termine Transformer ha altri significati?

Sì: in elettrotecnica indica il trasformatore, una macchina elettrica che varia tensione e corrente, mentre nel linguaggio comune è anche il nome del franchise cinematografico Hasbro con Autobot e Decepticon; nessuno dei due riguarda l’architettura di intelligenza artificiale descritta in questa pagina.

### Quali strumenti usano un Transformer?

I modelli linguistici più diffusi, da GPT a BERT fino ai modelli Claude, si basano su questa architettura; la usano anche strumenti di traduzione automatica, di riconoscimento vocale e alcuni sistemi di analisi delle immagini nei cataloghi e-commerce.