La recherche en interprétabilité cherche à cartographier ce que fait chaque couche interne d’un modèle. Certaines couches sont bien comprises ; d’autres restent opaques, même pour les chercheurs qui ont construit le modèle.