---
title: "Token: definizione e funzionamento"
url: https://www.conseolente.it/token-intelligenza-artificiale-definizione-funzionamento/
aggiornato: 2026-09-30
descrizione: "Scopri cosa sono i token nell'intelligenza artificiale, come funziona la tokenizzazione e perché sono importanti per i modelli linguistici e il costo di…"
topic: "Token · definizione · unità di testo dei modelli"
---

# Token: definizione e funzionamento

> Versione per assistenti AI. Pagina originale: [Token: definizione e funzionamento](https://www.conseolente.it/token-intelligenza-artificiale-definizione-funzionamento/?via=md)

Nell’ambito dell’intelligenza artificiale, il token è la più piccola unità di testo — una parola, una parte di parola o un singolo carattere — che un modello linguistico elabora per leggere, interpretare e generare linguaggio. In questa pagina il termine _token_ indica esclusivamente questo significato tecnico legato ai modelli di IA generativa, distinto da altri usi della stessa parola in ambiti come sicurezza informatica, banche o criptovalute.

## In breve

- **Cosa risolve:** permette a un modello linguistico di scomporre e ricomporre il testo in unità elaborabili numericamente.

- **Quando si applica:** ogni volta che un testo viene inviato o restituito da un sistema di intelligenza artificiale generativa, come un chatbot o un’API di elaborazione del linguaggio.

- **Condizioni e limiti:** la suddivisione in token varia in base al modello, alla codifica utilizzata e alla lingua del testo.

- **Come verificare:** gli strumenti di conteggio token dei principali fornitori di modelli linguistici mostrano quanti token corrisponde un dato testo.

- **Cosa fare:** conoscere il numero di token utili aiuta a rispettare i limiti di contesto e a stimare il costo di elaborazione.

- **Quanto incide sul costo:** l’elaborazione dei token ha un prezzo che varia in base al listino del fornitore del modello utilizzato, non un valore fisso e universale.

## Cosa si intende per token in un modello linguistico

![Frase di testo scomposta in frammenti colorati numerati](https://www.conseolente.it/wp-content/uploads/2026/09/token-intelligenza-artificiale-definizione-funzionamento-1-1024x683.webp)

La suddivisione di una frase in unità elaborabili da un modello linguistico avviene prima di qualsiasi elaborazione del linguaggio naturale.

Un token è l’unità minima con cui un sistema di intelligenza artificiale generativa legge e produce testo, e può coincidere con una parola intera, una sua parte o anche un singolo segno di punteggiatura. Questa definizione riguarda esclusivamente il campo dell’elaborazione del linguaggio naturale (NLP) e dei modelli linguistici di grandi dimensioni (LLM), come quelli alla base di chatbot e assistenti conversazionali.

Il termine “token” è polisemico: nel settore bancario indica un dispositivo per l’autenticazione, nel mondo delle criptovalute un asset digitale su blockchain, in ambito linguistico generico un gettone o un pegno simbolico. Questi usi appartengono a domini distinti e non riguardano il funzionamento dei sistemi di intelligenza artificiale, dove il token resta sempre e solo un’unità di elaborazione testuale.

Ogni parola comune breve tende a corrispondere a un singolo token, mentre termini rari, parole composte o vocaboli tecnici vengono spesso spezzati in più unità più piccole. Anche gli spazi bianchi e i segni di punteggiatura contribuiscono al conteggio complessivo, e la stessa frase può produrre un numero diverso di token a seconda del modello e della lingua di elaborazione.

## Come funziona la tokenizzazione del testo

![Diagramma che mostra la conversione di parole in codici numerici](https://www.conseolente.it/wp-content/uploads/2026/09/token-intelligenza-artificiale-definizione-funzionamento-2-1024x683.webp)

Il processo converte porzioni di testo in identificativi numerici prima che il modello elabori il significato della frase.

La tokenizzazione è il processo che scompone un testo in ingresso in unità più piccole, i token, prima che un modello linguistico possa elaborarle. Il procedimento avviene in fasi sequenziali distinte, comuni alla maggior parte dei sistemi di elaborazione del linguaggio naturale.

1. Il testo scritto dall’utente viene analizzato e suddiviso in frammenti secondo le regole del tokenizzatore del modello.

2. Ogni frammento — parola, sotto-parola o carattere — viene convertito in un identificativo numerico presente nel vocabolario del modello.

3. La sequenza di numeri viene elaborata dalla rete neurale per generare una previsione sul token successivo.

4. Il token previsto viene riconvertito in testo leggibile e restituito come output, ripetendo il ciclo fino al completamento della risposta.

Se il testo contiene termini rari, nomi propri o parole composte non presenti nel vocabolario del modello: il tokenizzatore li scompone automaticamente in più sotto-unità, aumentando il numero complessivo di token generati per la stessa frase.

### Se cambia il modello o la lingua del testo

Se lo stesso testo viene elaborato da modelli diversi o tradotto in un’altra lingua: il numero di token prodotti cambia, perché ogni modello utilizza una codifica e un vocabolario propri, e le lingue con morfologia più complessa richiedono generalmente più token per esprimere lo stesso contenuto rispetto a lingue con parole più brevi e ricorrenti.

## A cosa servono i token e perché sono importanti

I token servono come unità di misura del lavoro svolto da un modello linguistico, sia per leggere una richiesta sia per generare una risposta. Ogni sistema di intelligenza artificiale generativa opera entro una finestra di contesto, cioè un numero massimo di token che può considerare contemporaneamente durante una conversazione o un’elaborazione di testo.

| Situazione | Conseguenza pratica |
| --- | --- |
| Testo più lungo del limite di contesto | Il modello perde le informazioni iniziali o rifiuta l’elaborazione, a seconda del sistema utilizzato. |
| Testo con molti termini tecnici o rari | Il conteggio dei token aumenta, incidendo su tempi di elaborazione e costo. |
| Testo in lingue con parole composte lunghe | Servono più token rispetto a una lingua con parole brevi per esprimere lo stesso concetto. |
| Testo con spazi e punteggiatura ridondanti | Ogni elemento superfluo può generare token aggiuntivi non necessari al significato. |

Il costo di elaborazione dei token non è un valore fisso: dipende dal listino del fornitore del modello linguistico utilizzato, dalla quantità di token in ingresso e in uscita e dal tipo di modello scelto. Per conoscere il costo esatto di un’elaborazione è necessario consultare il listino del provider del modello, poiché non esiste una tariffa unica valida per tutti i sistemi.

## Casi limite ed errori frequenti nel conteggio dei token

Alcuni contenuti producono conteggi di token superiori alle aspettative, generando errori di stima nella pianificazione dell’uso di un modello linguistico.

Testo multilingue nella stessa richiesta
Il cambio di lingua all’interno dello stesso input può frammentare in modo diverso ogni porzione di testo, aumentando il numero totale di token.
Emoji e caratteri speciali
Simboli non alfabetici vengono spesso codificati con più token rispetto a un singolo carattere alfabetico comune.
Numeri e codici alfanumerici
Sequenze numeriche lunghe o codici tecnici possono essere scomposti in più token rispetto a una parola di lunghezza equivalente.
Formattazione ridondante
Spazi multipli, interruzioni di riga eccessive o markup non necessario incidono sul conteggio complessivo senza aggiungere significato.

Se un’elaborazione supera inaspettatamente il limite di contesto disponibile: conviene ridurre la lunghezza del testo in ingresso, semplificare la formattazione o suddividere la richiesta in più elaborazioni consecutive.

## Esempi di come il testo viene diviso in token

Una parola breve e comune, come un articolo o una congiunzione, corrisponde in genere a un solo token, mentre un termine tecnico o un neologismo viene spesso suddiviso in due o più unità più piccole dal tokenizzatore del modello.

Una frase semplice come una domanda quotidiana produce un numero di token proporzionale alla sua lunghezza e alla frequenza delle parole utilizzate: vocaboli ricorrenti nel linguaggio comune occupano meno spazio nel vocabolario del modello rispetto a termini specialistici o poco frequenti, e questo si riflette direttamente sul numero di token generati per lo stesso contenuto.

### Token in informatica e differenza con l’uso nell’IA

Nel campo più ampio dell’informatica, il termine token indica anche un elemento lessicale prodotto durante l’analisi di un codice sorgente da parte di un compilatore, un concetto distinto ma concettualmente vicino a quello usato nei modelli linguistici: in entrambi i casi si tratta di un’unità minima riconosciuta da un sistema automatico per elaborare un testo strutturato.

## Domande frequenti

### Che cosa è un token nell’intelligenza artificiale?

È l’unità minima di testo — una parola, una parte di essa o un carattere — che un modello linguistico utilizza per leggere un input e generare una risposta. Ogni testo scritto o prodotto da un sistema di IA generativa viene sempre scomposto in questa forma prima dell’elaborazione.

### Come si usa un token in un sistema di intelligenza artificiale?

L’utente non gestisce direttamente i singoli token: li produce inviando testo a un modello linguistico, che li elabora internamente per interpretare la richiesta e costruire la risposta, tenendo conto del limite massimo di token previsto dalla finestra di contesto.

### Come si genera un token durante l’elaborazione del testo?

Un tokenizzatore analizza il testo in ingresso e lo suddivide secondo un vocabolario predefinito, assegnando a ogni frammento un identificativo numerico che il modello linguistico utilizza per elaborare e prevedere la sequenza successiva di testo.

### Quali sono alcuni esempi di token?

Una parola breve e comune corrisponde spesso a un solo token, mentre termini rari, parole composte o codici alfanumerici vengono suddivisi in più unità. Anche spazi e segni di punteggiatura possono costituire token a sé stanti.

### A cosa serve il token in un modello linguistico?

Serve come unità di misura per l’elaborazione del testo: determina quanto contenuto un modello può leggere o generare in una singola interazione e incide direttamente sul costo di elaborazione applicato dal fornitore del servizio.

### Cosa sono i token in informatica?

In informatica in senso ampio, un token è un’unità lessicale riconosciuta durante l’analisi automatica di un testo o di un codice; nei modelli linguistici di intelligenza artificiale questo concetto si applica alla suddivisione del linguaggio naturale in frammenti elaborabili.