Contatore di token per ChatGPT, Claude e Gemini
Incolla un testo o un prompt per stimare quanti token occupa e quanta parte della finestra di contesto di un modello riempie.
È una stima: ogni modello divide il testo in token a modo suo. In italiano una parola vale in media più token che in inglese. Per il conteggio esatto usa lo strumento ufficiale del modello che userai.
I modelli linguistici non leggono parole ma token, pezzi di parola che variano da modello a modello. Il contatore stima i token di un testo e ti mostra quanta parte della finestra di contesto, cioè della memoria di lavoro del modello, occuperebbe.
Perché contare i token
- I limiti di lunghezza dei prompt e dei documenti caricati sono espressi in token.
- Il costo delle API dei modelli si calcola sui token in ingresso e in uscita.
- Un prompt troppo lungo lascia meno spazio alla risposta e ai documenti di contesto.
Una stima, non un conteggio esatto
Ogni modello usa il proprio sistema per dividere il testo e l’italiano, in media, richiede più token per parola dell’inglese. Per questo il risultato è una stima con un intervallo minimo e massimo: è sufficiente per capire gli ordini di grandezza. Quando ti serve il numero preciso usa lo strumento ufficiale del modello che userai.
