Che cosa hanno trovato i ricercatori in ogni strato
Strato dei token
Parole identificate
chiaro
Teste di attenzione
Concetti ponderati
parziale
Stati interni
Segnali simili a emozioni
poco chiaro
Strati profondi
Passi di ragionamento?
ignoto
La ricerca sull'interpretabilità cerca di mappare che cosa fa ciascuno strato interno di un modello. Alcuni strati sono ben compresi; altri restano opachi persino per i ricercatori che hanno costruito il modello.