Quando un modello linguistico legge il Suo messaggio, non vede lettere o parole come le vedrebbe un essere umano. Vede token: piccoli frammenti di testo che sono la vera moneta del modello. «Incredibilmente» potrebbe essere un token o tre, a seconda di quanto è frequente nei dati di addestramento. «Il» è quasi certamente uno solo. Lo spazio prima di una parola a volte viene incorporato nel suo token, a volte no. La corrispondenza esatta è stabilita dal tokenizzatore del modello, un componente separato addestrato a scomporre in modo efficiente qualunque stringa di testo in queste unità.
Perché non usare semplicemente le parole? Perché il linguaggio è più disordinato di quanto lascino intendere i dizionari. Compaiono parole nuove; i nomi sono inediti; le lingue si mescolano e si fondono. I token, che in inglese contano in media circa tre o quattro caratteri, offrono una via di mezzo pratica tra le lettere (troppo minute) e le parole (troppo fragili nei casi limite). Permettono al modello di gestire qualunque testo incontri, comprese cose che non ha mai visto prima.
Il numero di token di un testo ha conseguenze pratiche. I fornitori di modelli di solito fanno pagare a token. Le finestre di contesto, cioè la quantità di testo che un modello può tenere nella memoria di lavoro in un dato momento, si misurano in token. Un romanzo tipico conta tra 100'000 e 120'000 token. Una lunga conversazione può riempire una finestra di contesto più in fretta del previsto.
Saperlo rende più precisa la metafora della nuvola di probabilità. Quando un modello linguistico lavora a partire da una distribuzione di probabilità sulle parole possibili, ciò significa più esattamente: sui token possibili. La nuvola si risolve un token alla volta. Ogni scelta plasma la distribuzione per il token successivo. La frase che sta leggendo è nata da una catena di questi collassi.
