Un grand modèle a appris quelque chose qu’on ne peut pas aisément lire dans ses poids : non seulement quelle réponse est juste, mais à quel point chacune des mauvaises s’en approchait. Demandez-lui de nommer un animal, et il ne dit pas simplement chien. Il dit chien, massivement, avec un léger résidu de loup, un plus léger encore de renard, et pratiquement rien pour théière. Ce résidu est le sens accumulé qu’a le modèle de la manière dont le monde se ressemble à lui-même. La distillation consiste à entraîner un modèle plus petit sur ces distributions complètes plutôt que sur les seules réponses correctes — en laissant l’élève hériter du jugement de l’enseignant plutôt que de ses seules conclusions.
L’objection évidente est qu’une copie devrait être moins bonne que l’original. Elle l’est généralement — mais bien moins que quiconque ne s’y attendait, et pour une petite fraction du coût. C’est là que les ennuis commencent. Un modèle dont l’entraînement a demandé des centaines de millions de dollars et un centre de données peut être approché, assez bien pour la plupart des usages, par un concurrent qui se contente de lui poser un très grand nombre de questions et de s’entraîner sur les réponses. La technique se moque de savoir si l’enseignant a consenti. Elle entraîne aussi des pertes difficiles à voir : l’élève hérite des angles morts de l’enseignant en même temps que de son jugement, et en hérite privés des données d’entraînement qui permettraient à quiconque de comprendre d’où ils viennent.
La pratique se situe donc à deux endroits à la fois. À l’intérieur d’un laboratoire, elle est ordinaire et utile : on entraîne avec soin un très grand modèle, puis on le distille en quelque chose d’assez petit pour tourner sur un téléphone, d’assez bon marché pour être servi à grande échelle, d’assez rapide pour répondre pendant que le lecteur est encore attentif. Presque tous les modèles avec lesquels vous interagissez réellement sont plus petits que le meilleur modèle que possède leur concepteur, et la distillation est pour beaucoup dans le fait que cela reste abordable. Hors du laboratoire, c’est un problème de gouvernance que personne n’a résolu — les conditions d’utilisation l’interdisent, la détecter est difficile, et la prouver devant un tribunal l’est plus encore.
Ôtez la machinerie, et c’est l’apprentissage, avec la même vieille asymétrie. Le savoir-faire du maître a demandé une carrière ; l’apprenti en acquiert une version opérationnelle en quelques années, sans jamais avoir commis les erreurs qui l’ont produit. Quelque chose de réel se transmet. Quelque chose, aussi, ne se transmet pas. Ce que l’apprenti obtient au bout du compte n’est pas le savoir du maître, mais une compression de ce savoir — fiable dans les cas ordinaires, discrètement peu fiable exactement aux marges que le maître aurait reconnues au premier coup d’œil. Nous nous disputons depuis des siècles pour savoir si c’est un vol ou simplement la façon dont le savoir a toujours circulé. Les machines n’ont fait que rendre la dispute urgente.
