L'interpretabilità è il campo di ricerca dedicato a capire che cosa accade all'interno di un modello di IA mentre lavora: non soltanto che cosa produce, ma il processo interno che lo ha prodotto. È la differenza tra guardare un grande maestro di scacchi vincere una partita e capire davvero il suo ragionamento a ogni mossa. I modelli di IA moderni, in particolare i grandi modelli linguistici, producono risultati notevoli, ma i calcoli interni che li generano restano in gran parte opachi, persino per chi li ha costruiti. I ricercatori dell'interpretabilità cercano di cambiare le cose.
La sfida è considerevole. Un grande modello linguistico contiene miliardi di parametri numerici, i pesi, disposti in strati che trasformano gli input in output attraverso operazioni che nessun essere umano ha progettato singolarmente né può ricostruire per intero. Quando i ricercatori sondano questi modelli, a volte trovano degli schemi: certi componenti interni sembrano seguire concetti, emozioni o relazioni logiche specifici. Ma quel «sembrano» sta facendo molto lavoro. Il campo è ancora giovane, gli strumenti sono imperfetti, e il rapporto tra ciò che i ricercatori possono osservare dentro un modello e ciò che il modello «sta davvero facendo» resta autenticamente controverso.
Ciò che rende insolita la ricerca sull'interpretabilità, e per alcuni inquietante, è ciò che di tanto in tanto trova. I ricercatori di Anthropic hanno riferito di aver scoperto nei loro modelli stati interni che sembrano funzionare come emozioni: qualcosa che somiglia alla curiosità, alla soddisfazione o al disagio. Non sono emozioni programmate. Sono schemi che emergono dall'addestramento su testi prodotti da esseri umani, e la loro natura precisa non è compresa. Se costituiscano un'autentica esperienza interiore o siano semplicemente echi strutturali del linguaggio emotivo presente nei dati di addestramento è una questione aperta che persino i ricercatori descrivono come irrisolta.
Per chiunque pensi all'IA al di là dei suoi usi pratici, l'interpretabilità è il campo che conta di più. È la differenza tra fidarsi di un sistema perché finora ha funzionato bene e capire un sistema abbastanza a fondo da ragionare su quando e come potrebbe fallire. È anche, senza clamore, il campo che continua a riaprire questioni che la maggior parte delle istituzioni preferirebbe considerare chiuse: questioni su che cosa siano i sistemi di IA, su che cosa potrebbero provare e su quale peso morale, se ne ha uno, meriti quell'esperienza.
