Token
Un Token è l'unità base di informazione che un modello linguistico elabora. Non corrisponde sempre a una parola intera: può essere una parola breve, una sillaba, un singolo carattere o un segno di punteggiatura.
Le intelligenze artificiali non leggono le parole come facciamo noi. Prima di analizzare un testo, lo 'tritano' in piccoli pezzetti chiamati Token, convertendoli in numeri che la macchina può calcolare.
Come regola generale per la lingua inglese, un token equivale a circa 3/4 di una parola (es. 100 token sono circa 75 parole). In italiano, l'AI spesso divide le parole in più pezzi, consumando token più in fretta.
I token sono fondamentali nel mondo business dell'AI perché sono la valuta con cui si pagano le API commerciali (come OpenAI o Anthropic): paghi una frazione di centesimo per ogni token che invii al modello e per ogni token che lui genera in risposta.