Un grande modello linguistico (large language model, LLM) è una rete neurale addestrata a prevedere il token successivo in una sequenza di testo. Data la frase «il cielo è», assegna delle probabilità a ciò che viene dopo: «blu» ottiene un punteggio più alto di «martedì», anche se tecnicamente sono possibili entrambi. Lo si faccia su scala enorme, con centinaia di miliardi di parametri addestrati su vaste quantità di testo scritto, ed emerge qualcosa di inatteso: il modello sviluppa ciò che somiglia moltissimo a una comprensione. Sa tradurre, riassumere, ragionare, scrivere codice e sostenere una conversazione coerente, non perché qualcuno gli abbia insegnato esplicitamente una di queste cose, ma perché tutte si riducono, a un certo livello, a schemi nel linguaggio.
Quel «grande» conta più di quanto possa sembrare. Modelli linguistici più piccoli, addestrati allo stesso modo sugli stessi dati, ottengono risultati modesti. A una certa scala (nessuno sa esattamente dove si trovi la soglia) compaiono capacità per cui il modello non è stato addestrato direttamente. Lo si chiama a volte emergenza, ed è una delle proprietà davvero sorprendenti, e ancora poco comprese, di questi sistemi. GPT-4, Claude, Gemini e i loro successori sono tutti grandi modelli linguistici. Lo è anche il completamento automatico del Suo telefono, solo molto, molto più piccolo.
Capire che cos'è un LLM cambia il modo in cui si leggono le affermazioni sull'IA. Quando un modello linguistico dice con sicurezza una cosa sbagliata, non è un malfunzionamento: sta facendo esattamente ciò per cui è stato addestrato, cioè prevedere un testo plausibile, e un testo plausibile a volte è sbagliato. Per impostazione predefinita il modello non ha memoria delle conversazioni precedenti, non conosce il mondo dopo la data limite del suo addestramento e non ha alcun meccanismo per verificare se ciò che dice sia vero. Non sono difetti da correggere con una patch; sono proprietà dell'architettura.
Nel dibattito pubblico il termine viene usato in modo approssimativo per indicare quasi qualsiasi cosa legata all'IA. Vale la pena mantenere la definizione precisa, perché la precisione conta. Un grande modello linguistico è un tipo specifico di sistema, con punti di forza specifici e modi di fallire specifici. Le organizzazioni e le persone che ottengono di più da questi strumenti sono quasi sempre quelle che capiscono che cosa sono davvero, e non ciò che il marketing lascia intendere che potrebbero essere.
